한 번에 한 가지의 요소만 테스트하는 것이 좋습니다. 예를 들어 A소재의 버튼은 빨간색에 '지금 시작하기', B소재의 버튼은 파란색에 '선착순 시작하기'로 세팅했을 때 A소재의 전환율이 더 우수했다고 합시다. 그렇다면 전환율이 높아진 이유는 버튼 컬러가 빨간색이기 때문일까요, 버튼명에 지금이 들어가서 일까요? 어느 요소 때문인지 알아내기 애매한 부분이 있기 때문에 한 번에 한 가지 요소만 테스트하는 것을 추천합니다.
6. 실험기간
검증되지 않은 새로운 소재에 트래픽을 보내는 것이 A/B테스트 이므로, 비즈니스적 측면에서는 짧은 시간의 테스트가 이상적일 수 있습니다. 하지만 앞서 말한 것처럼 짧은 시간 내에는 큰 수준의 모수를 얻기가 힘들고, 특정 기간 동안에만 특별한 이슈가 있을 수 있습니다. 때문에 실험 기간을 너무 짧게 설정하지 않도록 해야 합니다.
또 이전 실험에서 A소재가 이겼다고 A소재가 항상 최적의 소재는 아닙니다. 세상은 계속 변화하고 사용자의 취향, 트렌드도 변합니다. 때문에 A소재의 결과가 항상 유효하다는 생각을 버리고, 실험을 지속해서 반복적으로 진행해야 합니다.
추가 TIP.
A/B테스트를 진행하면서 '왜' A소재가 더 전환율이 좋았는지, 어떤 부분이 사용자를 움직였는지에 대해 고민해 보아야 합니다. 이때 히트맵 혹은 클릭 맵을 분석하는 것을 추천합니다.
특히 히트맵은 사람들이 어떤 부분을 클릭했는지 볼 수 있어 가끔 UX의 개선점을 발견할 수 있습니다.
(예를 들어 아이콘을 넣었는데, 아이콘에 히트맵 분포가 많이 되어있다면 사람들이 해당 영역을 클릭 영역으로 착각했다는 것입니다)
