3년간의 A/B테스트 후 깨달은 것들

A/B테스트 시 이건 꼭 생각해봅시다!

A/B테스트, 퍼포먼스 마케터들이 필수적으로 시행하는 것들 중 하나일 텐데요,

A/B테스트란 특정 사이트에 접속했을 때 한 집단에게는 A소재를, 한 집단에게는 B소재를 노출하여 어느 집단의 전환율이 더 높은지 평가하는 방식을 말합니다. 전환율이란 최종 구매가 될 수도 있고, 장바구니 담기, 혹은 회원가입이 될 수도 있습니다.

A/B테스트의 가장 매력적인 점은 바로 데이터로 증명할 수 있다는 점입니다.

마케터의 감으로 '지금 신청하기' 보다 '지금 알아보기'가 전환율이 더 높을 것 같다고 생각하여 모든 버튼명을 '지금 알아보기'로 바꾸면 어떤 일이 일어날까요?

기대했던 것과 달리 전환율이 반으로 떨어질 수도 있고, 혹은 예상만큼 오를 수도 있습니다. 하지만 '왜'그런 현상이 일어났는지에 대해 정확히 파악할 수 없습니다.

A/B테스트는 이렇게 생각으로만 세워두었던 가설에 대해 데이터로 검증해 주는 역할을 하며, 또 조그만 변화가 얼마나 큰 전환율 상승을 일으킬 수 있는지 증명할 수 있어 좋은 퍼포먼스를 낼 수 있는 방식일 것입니다.

저도 3년 동안 수많은 AB테스트를 진행했었는데요, A/B테스트 시 유의해야 할 것들을 함께 공유해보고자 합니다.

1. 기간 설정

A/B테스트는 동기간에 진행해야 정확합니다. 이번 주에는 A소재를 노출하고 다음 주에는 B소재를 노출한다면 정확한 A/B테스트가 되지 않습니다. B기간에 다른 시즌 이슈가 있다면? 우리가 알지 못하는 경쟁사 세일이 있다면? 결과는 전혀 달라지게 될 것입니다.

결과에 영향을 줄 수 있는 외부 변수들의 조건 또한 동일해야 하므로, 동기간에 A, B소재 모두 노출될 수 있도록 진행해야 합니다.

2. 집단 나누기

A/B테스트를 할 집단은 임의적으로 나누어야 합니다.

A그룹은 여자, B그룹은 남자 혹은 A그룹은 20대, B그룹은 30대로 나누어 버리면 이미 해당 그룹 자체의 특성이 반영되기 때문에 두 집단의 차이가 무엇 때문에 발생하는지 정확히 알 수 없습니다. 때문에 꼭 임의적으로 집단을 나누어야 합니다.

(하지만 보통 많은 AB테스트 툴들이 알아서 트래픽을 임의적으로 나누어주고 있으므로 걱정이 없네요!)

3. 샘플 사이즈

사실 샘플 사이즈면 크면 클수록 좋습니다. 결과의 신뢰도를 높일 수 있기 때문입니다.

하지만 때로는 마음이 급한 나머지 샘플 사이즈가 작은데도, 결론을 내어버리는 경우가 있을 수 있습니다.

50명을 대상으로 한 실험과 500명을 대상으로 한 실험, 어느 실험이 더 정확할까요?

어느 정도 모수가 쌓일 때까지는 지켜보아야 합니다.

하지만 트래픽이 작은 업체의 경우 큰 샘플 사이즈를 얻기 힘듭니다.

그럴 때 사용할 수 있는 것이 적정 샘플 사이즈 계산기인데요, 어느 정도의 모수는 진행해야 신뢰도를 얻을 수 있을지 툴을 통해 확인할 수 있습니다.

https://docs.adobe.com/content/target-microsite/testcalculator.html

Adobe Target Sample Size Calculator

4. 통계적 유의미

일반적으로 통계적 유의미는 P-Value에 따라 달라진다고 알려져 있습니다. P-Value에 따라 신뢰도 90%, 95%, 99%로 나누어지기도 합니다. (일반적으로 95% 이상의 신뢰도로 확인합니다)

우리는 이 통계적 의미를 A/B테스트에서 나온 전환율에 적용해 보아야 합니다. 현재 B소재의 전환율이 높더라도, 통계적 의미가 없다면 언제든지 다시 A가 이길 수도 있다는 말이기 때문입니다.

여러 업체에서 통계적 의미를 알 수 있는 툴들을 배포하고 있는데요,

https://vwo.com/ab-split-test-significance-calculator/

A/B testing statistical significance calculator - VWO

https://neilpatel.com/ab-testing-calculator/

A/B Testing Statistically Significant Calculator

이 두 곳에서 A와 B의 데이터에 대한 통계적 의미를 확인할 수 있습니다.

5. 한 번에 한 가지 요소만

한 번에 한 가지의 요소만 테스트하는 것이 좋습니다. 예를 들어 A소재의 버튼은 빨간색에 '지금 시작하기', B소재의 버튼은 파란색에 '선착순 시작하기'로 세팅했을 때 A소재의 전환율이 더 우수했다고 합시다. 그렇다면 전환율이 높아진 이유는 버튼 컬러가 빨간색이기 때문일까요, 버튼명에 지금이 들어가서 일까요? 어느 요소 때문인지 알아내기 애매한 부분이 있기 때문에 한 번에 한 가지 요소만 테스트하는 것을 추천합니다.

6. 실험기간

검증되지 않은 새로운 소재에 트래픽을 보내는 것이 A/B테스트 이므로, 비즈니스적 측면에서는 짧은 시간의 테스트가 이상적일 수 있습니다. 하지만 앞서 말한 것처럼 짧은 시간 내에는 큰 수준의 모수를 얻기가 힘들고, 특정 기간 동안에만 특별한 이슈가 있을 수 있습니다. 때문에 실험 기간을 너무 짧게 설정하지 않도록 해야 합니다.

또 이전 실험에서 A소재가 이겼다고 A소재가 항상 최적의 소재는 아닙니다. 세상은 계속 변화하고 사용자의 취향, 트렌드도 변합니다. 때문에 A소재의 결과가 항상 유효하다는 생각을 버리고, 실험을 지속해서 반복적으로 진행해야 합니다.

추가 TIP.

A/B테스트를 진행하면서 '왜' A소재가 더 전환율이 좋았는지, 어떤 부분이 사용자를 움직였는지에 대해 고민해 보아야 합니다. 이때 히트맵 혹은 클릭 맵을 분석하는 것을 추천합니다.

특히 히트맵은 사람들이 어떤 부분을 클릭했는지 볼 수 있어 가끔 UX의 개선점을 발견할 수 있습니다.

(예를 들어 아이콘을 넣었는데, 아이콘에 히트맵 분포가 많이 되어있다면 사람들이 해당 영역을 클릭 영역으로 착각했다는 것입니다)

추천사이트

https://vwo.com/product/analyze/heatmaps/

Best Heatmap Software - VWO