기획자로서 A/B 테스트 설계 - (2)
맞춤 영양제 구독 서비스 필리 A/B 테스트
오늘은 저번 글을 토대로 랜딩페이지의 개선안을 적용시켜서 A/B테스트 설계를 진행해보려 한다. 개선 사항 중 가장 테스트해보고 싶은 두 가지를 선정했고 우선 A/B테스트에 대해서 먼저 알아보고자 한다.
A/B Test
A/B 테스트는 온라인뿐만 아니라 예부터 오프라인에서도 사용돼온 방법으로, 두 개의 실험 대상을 특정 사람들에게 테스트해서 더 나은 결과를 가져오기 위해 사용하는 기법이다. 웹/앱 서비스에 적용한다면 최종 목적은 사용자 경험을 개선하여 '전환율'을 높이기 위해 사용한다. 오프라인에서 파악할 수 있는 판매량, 매출과 같은 제한적인 지표들을 넘어서 온라인에선 사용자들을 정량적인 지표를 통해 추적하고 분석할 수 있어 세부적인 테스팅까지 가능하다. 직관이나 정성적인 부분을 덜어낸 의사결정을 함으로써 비즈니스적인 리스크를 줄일 수 있다.
기업에서 펼치는 프로모션을 통해 유입되는 사용자들이 가장 먼저 접하는 랜딩페이지의 경우 A/B테스트가 가장 활발하게 일어난다. 랜딩페이지는 전환율 증가를 위해 특수하게 제작된 페이지이기 때문에 사용자의 행동을 유도하기 용이하다. A/B 테스트에 사용되는 구성 요소와 예시는 아래에서 확인할 수 있다.
구성 요소와 예시
· 가설: 버튼의 색 대비를 더 강하게 변경한다면 구매 전환율이 높아질 것이다.
· 목표: 버튼의 색을 부각해 사용자들의 전환을 유도한다.
· 기간: 1주, 2주, 한 달, 두 달 등
· 대상: 변경 전 방문한 신규 고객 100명, 변경 후 방문한 신규 고객 100명 혹은
A안 배포 신규 고객 100명, B안 배포 신규 고객 100명
· 측정 지표: 평균 체류 시간, 클릭률, 전환율 등 Engagement
·결과: 측정 지표 확인
· 결론: 버튼의 색 변경 혹은 기존 안 유지
· 후속 가설: 버튼 위치 변경 등
검증된 결과는 평생 가지 않는다.
앞서 사용자들의 니즈와 트렌드는 빠른 속도로 변화하기 때문에 이 전에 검증된 테스트의 결과는 항상 유효하지 않다. 따라서 A/B 테스트를 지속적으로 실시하여 개선해나가야 한다. 시장 상황이나 계절과 같은 외부요인에도 결과에 영향을 미칠 수 있기 때문에 반복적인 테스트가 필요하다.
위에서 버튼을 가지고 예시를 들었는데, 실제로 전환율이 상승한 사례가 여럿 있지만 색에 익숙해진 사용자들에겐 시간이 흐를수록 상승폭은 더뎌진다. 사용자가 프로덕트에서 더 좋은 경험을 할 수 있도록, 본질적인 측면인 사용자 편의 혹은 프로덕트 가치 전달 등 UX를 중점으로 고려해야 한다. 더해서 기업과 프로덕트 가치를 훼손시킬 수 있는 무분별한 변화와 지나치게 트렌드를 따라가는 변화는 지양해야 한다.
P-Value만 믿기엔 어딘가 부족해
서베이몽키 A/B 테스트 계산기A/B 테스트의 결과를 계산기를 통해 확인할 수 있지만 주의해야 할 점이 있다. 통계적 유의성을 따져봐야 하는데 간단하게 설명하면 1종 오류와 2종 오류가 있다.
· 1종 오류: 효과가 '없는 데 있다고'할 오류
· 2종 오류: 효과가 '있는데 없다고'할 오류
극단적으로 치료할 수 없는 병을 예로 들었을 때, 그 병이 환자에게 '있는데 없다고 할 2종 오류'라도 나타날 가능성이 있으면 절대 안 되지만 웹/앱 서비스에서의 A/B테스트에선 1종 오류만 범하지 않을 정도의 범위인 P-Value <0.05만 나타나도 유의미하다고 본다. 하지만 검정력(Power)과 적정 표본의 크기도 고려해야 한다.
P-Value는 효과가 없다는 가정 하에 평가된 수치로, 0.05 이하라는 것은 1종 오류의 발생 확률이 5% 이하라는 뜻이고 검정력(Power)이 0.8이면 효과가 있다고 판단할 가능성이 80%라는 것이다.
테스트 초반 혹은 끝난 후에 A/B 테스트의 결과가 유의미하지 않다고 무작정 기한을 연기해버리게 된다면 표본 크기가 커지면서 P-Value도 작아질 가능성이 높다. 여기서 P-Value가 0.05 이하로 내려가게 됐을 때 의사결정을 하게 되면, 가설의 결과가 효과가 있다고 판단할 가능성인 검정력을 배제한 채 의사결정을 하게 되는 것이므로 항상 주의해야 한다.
필리 A/B 테스트 설계 해보기
상단 CTA
포털사이트에서 '영양제'를 검색하면 나오는 필리의 광고에서 '건강 설문을 통한 맞춤 영양제'를 강조하고 있다. 하지만 클릭해서 접속할 경우 사용자를 가장 먼저 맞이하는 카피가 '내 몸에 필요한 영양성분 궁금하세요?'이다. 이 부분이 광고와 통일성이 떨어진다고 판단했고 사용자가 찾던 것이 아니라는 생각이 들 수 있기 때문에 '나를 위한 맞춤 영양제 찾고 계신가요?로 변경했다. 그리고 CTA버튼을 클릭했을 때 곧장 영양제가 아니라 개인별 맞춤화를 위한 건강 설문으로 이어지기 때문에 서브 카피 부분도 '건강 설문'에 대한 내용을 추가했다.
위와 같이 변경 후 테스트를 위한 설계 내용은 아래와 같다.
Test 1
사용자 후기
변경 (전) / (후)
기존의 후기에서 의아했던 부분은 영양제 서비스에서 '굳이 사용자의 프로필 사진이 필요할까?'였다. 마치 랜딩페이지 속에 유료 광고가 포함된 느낌이 들기도 해서 실제 사용자 리뷰임을 나타내기 위해 오른쪽 사진과 같이 변경했다. 그리고 페이지의 중후반부인 6단계에 위치한 후기를 3단계로 끌어올려서 사용자가 스크롤을 덜 내리고 콘텐츠를 쉽게 접할 수 있도록 바꿔보고 싶다. 2단계 사용자 문제 공감 뒤에 위치시켜 후기와 내용이 이어지도록 변경하고자 한다. 사실 통제 변수는 최대한 줄이는 것이 좋지만 설계에 불과하므로....
위와 같이 변경 후 테스트를 위한 설계 내용은 아래와 같다.
Test 2
그리고 이건 계획하고자 했던 테스트와 조금 다른 이야기인데, 기존 후기가 단순히 이미지와 텍스트로만 이루어진 줄 알았다. 하지만 클릭했더니 이벤트와 베스트 리뷰 등으로 이루어진 콘텐츠를 확인할 수 있는 '스토리' 메뉴로 이동했다. '리뷰'를 클릭했을 때 '리뷰'로 이동하는 것이 아닌 '스토리 메뉴'로 이동하는 것이 사용자가 과연 클릭했을 때 원하는 것인지에 대해 생각해봤을 때 어울리지 않는다고 느껴졌다. 따라서 랜딩페이지의 최하단 혹은 별도로 '스토리' 콘텐츠 영역을 아래의 자료 사진과 같이 생성해서 콘텐츠를 소비시키는 것이 좋을 것 같다.
브런치: 뷰저블참고자료
