A/B테스트를 실시할 때 주의해야 할 점, 7가지
A/B테스트를 실시하기 전 반드시 숙지해야 할 점
안녕하세요 뷰저블입니다. 오늘은 A/B테스트에 대해 한 번쯤은 들어보았지만 무엇인지에 대해서는 제대로 알지 못하는 분, 구체적으로 어떻게 실시하면 좋을지 모르는 분들을 위해 지식 글을 나누고자 합니다.
A/B테스트(A/B Testing)란 무엇일까요?
데이터 분석과 디지털 마케팅 분야에서 말하는 A/B테스트는 '웹 페이지의 UI, 카피 문구' 등을 2가지 이상의 패턴으로 나누어 (예: A패턴, B패턴) 어떤 패턴에서 더 높은 전환율을 보이는지에 대해 특정 기간 동안 테스트하는 것을 의미합니다. 뷰저블을 예로 들면 뷰저블 홈페이지를 A패턴과 B패턴이라는 두 패턴으로 만들고 이 각각의 갈래(페이지)로 사용자를 내보내게 됩니다. 이런 방식의 A/B테스트를 A/B Split Testing이라고 부르기도 합니다. B안의 전환율이 더 높았다고 한다면 최종적으로 웹 페이지에 B안을 채용할 수 있습니다. A/B테스트는 구글 옵티마이즈처럼 무료로 지원하는 서비스가 많아 누구나 쉽게 도입할 수 있으며 비용 대비 효과가 높아 많은 조직에서 실시하고 있습니다.
누구나 쉽게 A/B테스트를 실시할 수 있기는 하지만 무조건적으로 바로 실시할 수 있는 것은 아닙니다. A/B테스트는 실시할 때 반드시 주의해야 할 점들이 존재하는데 이 점들을 놓친다면 올바른 테스트를 실시하였다고 말할 수 없으며 테스트 결과를 전혀 신뢰할 수 없게 됩니다. 어떤 것들이 있는지 뷰저블과 알아봅시다.
A/B테스트를 실시할 때 주의해야 할 점 7가지
1. 테스트 시작 전 분석 대상 페이지에 방문자가 충분히 유입되는지 검토하세요.
A/B테스트를 실시하기 위해서는 '충분한 Sample Size'가 확보된 사이트를 요구합니다. Sample Size는 테스트 대상 페이지의 방문자수를 나타내는데, A/B테스트 결과는 기본적으로 통계적으로 의미 있는 차가 생겨야지만 '신뢰'할 수 있게 되므로 이 방문자수는 매우 중요합니다. 그럼 어느 정도의 방문자수가 필요한 것일까요? A/B테스트 툴로 유명한 옵티마이즐리에서는 샘플 사이즈 계산기라는 것을 제공하여 누구나 쉽게 테스트 시작 전 어느 정도의 Sample Size가 필요한지를 파악할 수 있도록 지원하고 있습니다. 한번 함께 살펴볼까요?
옵티마이즐리에서 제공하는 샘플 사이즈 계산기기본 전환율(Baseline Conversion Rate) : 현 전환율
최소한의 검출 가능 효과(Minimum Detectable Effect) : 현 전환율에서 몇 % 차이가 발생한 시점에서 테스트 결과가 좋고 나쁜지 판단할 것인가
위 이미지에서는 전환율에 20%의 차가 발생할 경우 패턴 별로 12,000의 방문자수가 필요하다고 합니다.
현재 전환율이 3%이기 때문에 테스트 종료 시점에는 테스트 패턴 전환율이 '3x(1+0.2)=3.6%' 또는 '3(1-0.2)=2.4'가 된다고 계산할 수 있겠네요. 방문자수가 적은 B2B 페이지라면 거의 유입경로 사용자 중 거의 100%를 모두 A/B테스트 대상으로 삼는 것이 좋습니다. A패턴에 50%, B패턴에 50%의 방문자를 내보낼 것이라고 설정할 수 있겠네요. 또한 신뢰할 수 있는 방문자수가 모일 때까지 충분한 기간을 두고 테스트를 실시해야 합니다.
2. 웹 페이지의 개선 사항을 발견한 후 우선순위를 결정합니다.
먼저, 어떤 웹 페이지를 테스트할 것인지 정하기 위해 '웹 사이트'의 전반적인 문제점을 살펴봅시다. 예를 들어 퍼널을 살펴보았더니 회원가입 단계에서 전환율이 저조하다면 회원가입 페이지를 집중적으로 개선해야 할 것입니다. 혹은 장바구니 페이지에서 이탈률이 높거나 특정 CTA 버튼의 전환율이 저조하다면 장바구니 페이지의 UI, 문구 등을 테스트해야 합니다. '입력 양식을 5개에서 3개로 줄였더니 전환율이 올라갈 것이다.', '하루 만에 배송된다는 문구를 강조하면 전환율이 올라갈 것이다.' 등 다양한 패턴을 만들어 우선순위에 따라 테스트를 실시해 볼 수 있습니다. 이러한 패턴 별 아이디어는 보통 스프레드시트 등에 일자별로 잊어버리지 않도록 기입해두는 것을 추천합니다. 또 이렇게 기입한 아이디어는 조직과 공유하는 것을 잊지 마세요.
웹 사이트 중 어떤 페이지가 병목 페이지인지 파악하기 위해서는 웹 페이지 별 이탈률을 살펴보거나 전환율이 어떻게 달라지는지를 정리하는 것이 좋습니다. 웹 페이지의 상세한 문제점은 뷰저블의 히트맵을 활용하여 파악하세요. 뷰저블에서 히트맵으로 어떻게 회원가입 페이지의 문제점을 발견하였는지 예제 글을 소개합니다.
보통 다음 페이지들을 테스트 대상 페이지로 선정할 수 있습니다.
트래픽이 높은 페이지
전환과 직결되는 페이지
반송률(Bounce Rate)이 높은 페이지
히트맵 분석 외에도 휴리스틱 평가와 사용자 리서치를 실시할 수도 있습니다. 뷰저블에서는 휴리스틱 평가를 자주 사용하여 태스크 상의 문제점을 발견하고 있습니다. 아래 글에서 자세히 확인하실 수 있습니다.
여러 문제점을 파악하였다면, 전환율에 미치는 영향도, 투입되는 리소스에 따라 조직 내부에서 우선순위를 결정해야 합니다.
3. 외부 요인에 좌우되지 않도록 테스트를 설계하고 실시해야 합니다.
A/B테스트를 실시할 때는 테스트를 실시할 '패턴' 외에는 모두 같은 조건이어야 합니다. 예를 들어 버튼의 모양을 바꾸는 것이 A/B테스트 대상이라면, 해당 버튼의 모양 외에 모든 A페이지와 B페이지의 UI가 동일해야 합니다. 다른 부분까지 개선해버리면 버튼 모양을 바꾸어서 전환율이 높아졌는지를 즉각적으로 판단하기 어려워집니다. 다음으로는 '유입 사용자의 속성'을 동일하게 맞추어야 합니다. 예를 들어 검색엔진을 통해 자발적인 의지에 의해 들어온 사용자인지, 광고를 통해 우연히 유입된 사용자인지 등 유입경로를 맞추어야 할 것이며 계절이나 트렌드에 따라서도 사용자의 속성이 변화할 수 있으므로 테스트 기간은 A패턴과 B패턴 모두 동일하게 맞추는 것이 중요합니다. 이렇게 외부 요인을 최소화한 상태에서 테스트를 진행해야만 올바른 결과를 도출할 수 있습니다.
테스트 시기가 동일한가?
타깃이 동일한가?
사용자의 방문 국가 또는 지역이 동일한가?
이 외에도 다양한 요건들이 맞는지를 반드시 점검합니다.
4. 어떤 페이지를 실시해야 할지 모르겠다면 랜딩 페이지를 먼저 진행해봅시다.
어떤 페이지를 A/B테스트해야 할지 잘 모르겠다면 랜딩 페이지로 테스트할 것을 추천합니다. 뷰저블이 이 글에서 말하는 랜딩페이지는 '전환율 증가를 위해 특별히 설계된 페이지 (보통 한 페이지)' 등을 가리키는 협의의 의미를 나타냅니다. 광의의 의미로써의 랜딩페이지라면 '단순히 사용자가 가장 먼저 사이트에 도착하여 보는 페이지'가 되겠네요. 왜 랜딩페이지를 추천할까요? 보통 이 랜딩페이지에는 전환과 직결되는 매우 중요한 CTA 버튼이 배치되어 있을 확률이 높습니다. 또한 보통 사용자가 가장 많이 보는 페이지 중 하나이기 때문에 테스트를 통해 페이지를 개선한다면 성과 또한 가장 빨리 도출할 수 있을 것입니다. 이렇게 첫 테스트에 눈에 띄는 성과를 얻어낸다면 다음 테스트를 위해 조직의 협조를 더 쉽게 이끌어낼 수도 있게 됩니다.
5. 결과가 나쁘다고 해서 테스트를 중단해서는 안됩니다. 교훈을 얻어 다음 테스트를 준비하세요.
A/B테스트는 한번 실시하고 끝내지 않고 반복적인 사이클을 돌려 점진적으로 서비스를 개선해나갈 수 있어야 합니다. 테스트 결과가 나쁘다고 해서 그것으로 끝내서는 안 되며 왜 결과가 나빠졌는지 교훈을 얻어 다음 테스트를 준비할 수 있도록 해야 합니다. 도출된 결과 또한 정리 후 조직에 공유하도록 합시다. 페이지 전환과 관련된 요소가 이번 테스트 대상이 아닌 다른 요인에 있는 것이 아닌지, 어떤 해결방안을 마련해야 더욱 성과가 높아질 것인지 등을 고민해보세요.
A/B테스트 결과는 신뢰도가 95%를 넘지 않을 경우 섣불리 판단해서는 안됩니다. 이러한 신뢰도는 보통 A/B테스트 툴에서 테스트 결과와 함께 제공하고 있으며 별도의 계산기로도 측정해볼 수 있습니다. VWO라는 업체에서는 엑셀 시트로 이러한 계산기를 누구나 다운로드할 수 있게 제공하고 있습니다.
6. A/B테스트가 브랜드 가치를 훼손해서는 안됩니다.
A/B테스트를 할 때 다음으로 꼭 검토해야 하는 점이 있습니다. 바로 브랜드 가치를 훼손해서는 안된다는 점입니다. OOO 하면 클릭률이 오른다고 하더라, 버튼의 색상은 주황색이 좋다더라 등 A/B테스트에도 무수한 트렌드가 있습니다. 하지만 이러한 트렌드를 그대로 받아들이고 자사 서비스에 반영한다면 어떻게 될까요? 네, 브랜드 이미지나 가치가 훼손되어버립니다. 전환율을 개선하고자 하는 의지는 좋으나 한 번 잃어버린 브랜드 가치는 다시 되돌리기까지 많은 노력이 필요하다는 점을 잊지 말아주세요.
'왜 이렇게 표현해야만 클릭수가 올라가는가'의 '왜'에 포인트를 맞추어 자사에 어떻게 내재화할 수 있는지를 검토하세요. 왜 이 문구를 사용해야만 하는가, 왜 이렇게 해야 하는가를 냉철하게 판단하도록 합시다.
7. A/B테스트는 수단이지 목적이 되어버려서는 안 됩니다.
6번과도 비슷한 이야기일 수 있습니다. A/B테스트는 다양한 산출물을 비교 및 검증하여 최선의 디자인 안을 선택해나가는 과정입니다. 하지만 수치에 휘둘리는 순간 다른 한 면은 잃어버리는 수도 있습니다. 예를 들어 상품 상세 페이지에서 '품질'을 주로 강조할 것인지, '가격' 측면을 주로 강조할 것인지를 테스트한다고 합시다. 전환율이 '가격'을 강조하는 페이지에서 훨씬 높았다면 당연히 상품 가격을 계속해서 소구 해나갈 것입니다. 하지만 반대로 상품의 가격보다 품질을 중시하는 사용자라면 어떨까요? 더 이상 웹 사이트에 방문하지 않겠죠. 그 반대도 마찬가지입니다. 품질만을 강조한다면 가격적 혜택을 더 크게 원하는 사용자는 떨어져 나갈 수도 있습니다.
A/B테스트 결과와 수치에만 휘둘려 더 큰 것을 잃어버리지 않도록 조직은 끊임없이 토론해야 하며, 항상 비판하는 자세로 결과에 대해 냉철하게 판단해야 합니다. 사용자의 방문 규모가 큰 사이트라면 작은 변화에도 사용자는 민감하게 반응할 수 있다는 사실을 잊지 말아주세요.
A/B테스트 과정을 반복하여 성과를 확인하게 되면 A/B테스트 진행을 통해 전환율을 개선하는 조직문화가 정착할 수 있게 되고, 데이터에 기반하여 의사결정을 하는 조직으로 성장하게 됩니다. 아직 A/B테스트를 진행하고 계시지 않다면 지금 바로 시도해보시는 것은 어떨까요?
참고하면 좋은 글
뷰저블을 통해 서비스 내 사용자 경험(UX)에 영향 끼치는 문제점을 발견하세요.
뷰저블이라면 그 많은 문제점들을 '새로운 비즈니스 기회'로 바꿔드릴 수 있습니다.
경쟁사는 이미 시작했습니다!
뷰저블 홈페이지
https://www.beusable.net/
