A/B Testing 필요성과 사례
사례와 함께 알아보는 A/B Testing의 필요성과 중요성
A/B Testing은 서비스와 사용자간 빠르게 응답하고 변하는 긴밀한 흐름 속에서, 사업 지표를 안전하게 유지하고 더 나아가 개선이 될 수 있도록 도모 할 수 있습니다.
뷰저블에서 A/B Testing을 진행해보기 전, A/B Testing에 대해서 간략히 알아보고자 합니다.
A/B Testing은 마케팅 또는 비즈니스 의사결정 단계에서 많이 쓰이는 개념입니다. 서비스의 실제 사용자가 될 수 있는 두 집단에게 A와 B 각각을 제공하고 이에 대한 결과 차이로 A와 B중 더 나은 것을 찾아낸다는 프로세스로 진행됩니다.
A/B Testing이 왜 필요할까?
검증
A에서 B로 수정하는 작업은 여러 사람들과 경험, 데이터로 인해 얻어낸 직관 또는 가설에 따를 것이며 더 좋아지기 위한 개선을 위한 방향일 것입니다.
하지만 직관과 가설 자체와 개선한 B안에 대한 검증은 실제 결과를 얻어내기 전까진 정량적인 수치로 확인할 수 없습니다. 잘못된 직관과 가설 또는 개선 방안으로 인해 오히려 더 나빠지는 상황을 초래할 수도 있을 것입니다(하단 넷플릭스 사례 참고).
따라서 이론이나 사용자의 의견을 올바르게 해석했고 적용했는지 검증하기 위해서는 실제 결과를 확인해야 하며, 이 결과 확인 과정이 서비스 전체 이익에 크게 영향을 끼쳐서는 안 될 것입니다. 기존 사용자 중 표본 집단을 추출하고, 이 표본 집단만으로 올바른 A/B Testing을 진행한다면 기존 사업 지표가 하락하게 되는 리스크를 최소화 하면서 개선을 위한 검증을 진행할 수 있을 것입니다.
비교의 동시성
A와 B 중 더 나은 결과 값을 이끌어낼 수 있는 항목이 무엇인지 찾기 위해서는, 각 지표를 발생시키는 대상이 유사할 수록 올바른 비교가 이뤄질 수 있습니다. A를 판단하는 집단과 B를 판단하는 집단간에는 콘텐츠 이외의 차이가 존재해서는 안 된다는 것입니다.
날짜나 요일, 시간과 같은 시점에 따라서 외부 이벤트나 정보에 영향을 받아 결과에 차이가 있을 수 있습니다. 또한 시점 뿐 아니라 PV나 UV자체의 규모, 접근하게 된 계기가 될 수 있는 유입 경로, 기기나 운영체제/브라우저와 같은 사용자 환경과 같이 결과에 영향을 끼칠 수 있는 항목들도 최소화 할 수록 A와 B의 올바른 비교를 수행할 수 있습니다.
따라서 동일한 기간 동안 동일한 규모의 유사한 집단간 사용자들에게 A/B를 비교하도록 하면, 좀 더 객관적인 판단 결과를 얻어낼 수 있을 것입니다.
A/B Testing이 적용된 오바마 선거 사례
오바마의 대선 홍보 활동은 데이터를 기반으로 효율적인 결과를 이끌어낸 사례로 유명합니다. 다양한 데이터 활용 중, 기부 버튼에 적절한 색상, 텍스트를 찾고 기부 절차 단계의 흐름을 어떻게 할 지 등에 A/B 테스트를 적용하였습니다. A/B 테스트 결과로 가장 나은 기부금을 이끌어낼 수 있는 방안을 정량적인 수치로 확인할 수 있었고, 이는 실제 기부금 모집의 증가와 더 나아가 선거활동의 성공으로 이끌 수 있었습니다.
예시 1) 흐름 변경
기부 절차 단계의 흐름을 변경한 A/B Testing 입니다.
이미지출처: http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/1Step에서 여러 항목들을 요구하는 기존 프로세스 A와, 4Steps로 흐름을 늘린 대신 각 Step에서 요구하는 항목을 최소화한 프로세스 B를 비교하여, 단계적 흐름일때 +5%라는 지표를 확인하고 얻어낼 수 있었습니다.
예시 2) 주요 이미지 변경
주요 이미지를 변경한 A/B Testing 입니다.
이미지출처: http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/
기존 데이터에서 오바마에게 포커싱이 맞춰진 큰 이미지가 사용자들에게 높은 전환율을 보였음을 적용하여, 주제에 맞는 맥락과 포커스가 약간 떨어지긴 하지만 오바마에게 포커스를 맞춘 이미지를 첫 번째 A 안으로 활용하였습니다.
그리고 B안으로는, 오바마와 함께 영부인, 게스트들이 사진에 포함되어 주제에 맞는 맥락과 사용자들이 디너 참석으로 기대할 수 있는 장면을 예상할 수 있도록 하였습니다.
이 A/B Testing 결과 B 페이지에서 전환율 지표 +19%라는 효과를 검증할 수 있었습니다.
A/B Testing이 적용된 넷플릭스 사례
넷플릭스에서는 회원 가입 전, 메인 화면을 개선하는 작업을 진행했습니다.
B를 만들기 이전에, 사용자들에게 회원 가입을 하기 전 어떤 화면을 원하는지 의견을 직접 조사하였고, 조사 결과 약 46% 사용자들에게 '시청할 수 있는 영화와 TV쇼 목록'이라는 답변을 받았습니다. 그리고 이 설문조사를 반영하여 이러한 목록 콘텐츠를 제공한다면 가입률을 개선할 수 있을 것이라는 가설을 세웠고 다양한 콘텐츠 목록이 제공되는 B안을 새롭게 만들었습니다.
이미지출처: https://designersandgeeks.com/events/using-ab-testing-to-inform-design하지만 기존 A안과 설문조사를 반영하여 개선한 B안으로 A/B Testing 결과, A에 비해 가입 전환률이 오히려 낮아짐을 확인할 수 있었습니다. 원인은 시청 목록 화면에서 가입 페이지로 바로 전환되는 것이 아니라 오히려 탐색으로 인해 가입 전환 콘텐츠 영역에서 벗어나게 되고, 또한 원하는 콘텐츠가 없을 시 좌절감을 느껴 이탈하게 되는 경우가 발생하였기 때문입니다.
따라서 넷플릭스는 사용자들이 가입 전 시청 가능 목록을 확인(사용자가 직접 요구한 의견 반영)하되 목록 위주로 탐색하는 행위로 빠지지 않고 실제 가입으로 전환될 수 있도록(넷플릭스가 의도한 사용자 경험 시나리오) 다음 이미지와 같이 디자인을 개선할 수 있었습니다.
이미지출처: Netflix.com 메인 페이지결론
위 오바마와 넷플릭스의 사례를 통해, 직관의 검증, 이론에 의한 가설 검증, 사용자가 직접 말한 의견 해석에 대한 검증으로 인한 A/B Testing의 중요함을 알 수 있습니다.
직관의 검증
직관>> 사용자에게 너무 많은 단계 프로세스는 부담이 될 것 이다.
검증>> 사용자들에게 부담이 되는 것은 단계보다 항목의 개수가 더 영향을 끼친다.
이론에 의한 가설 검증
가설>> 포커스가 맞춰진 사진이 전환율이 좋았다.
검증>> 참석을 유도하는 페이지에서는, 유도 받는 인물이 포함된 사진이 전환율을 높일 수 있다.
사용자 의견 해석에 대한 검증
해석>> 가입 전 목록 조회를 원한다.
검증>> 탐색을 할 수 있는 목록이 아닌, 대략적인 파악으로 끝날 수 있는 목록 조회가 적절하다.
Visualize UX, Make a Move!
뷰저블에서 UX 데이터 분석을 무료로 쉽게 체험해보세요!
체험하러 가기 >>> Beusable www.beusable.net
