[마케팅] A/B 테스트할 때 자주 하는 실수 5가지
배너의 클릭률과 전환율을 높이기 위한 카피, 디자인, 이미지 고민은 마케터의 숙명입니다. 정해진 법칙이라도 있으면 좋을 텐데, 업종과 상황에 따라 성과는 예상과 빗나갈 때가 많죠. 그래서 마케터들은 툴을 활용해 A/B 테스트(*동기간에 A안과 B안 소재를 고객들에게 무작위로 보여주고 어떤 것이 더 나은지 알아보는 실험 방법)를 시행하기도 합니다. 그루비 역시 캠페인 성과 개선을 위해 A/B 테스트 기능을 제공하고 있는데요.
간단해보이지만 어려운 A/B 테스트의 세계!
이번 포스팅에서는 A/B 테스트를 할 때 조심해야 할 실수 5가지에 대해 알아보도록 하겠습니다.
# 1. 버튼 색깔을 과대평가하는 것
마케터라면 한번쯤 버튼 색깔에 대한 ‘전설적인’ A/B 테스트 성공사례를 접해봤을 것입니다. 아래 이미지는 당뇨병을 관리할 수 있도록 도와주는 건강앱 CareLogger의 사례입니다. 클릭 유도 문안(CTA) 버튼 색깔을 초록색에서 빨간색으로 바꿨을 때 약 34% 높은 전환율을 보였다고 합니다.
건강앱 Carelogger의 A/B 테스트 사례‘버튼 색깔 외에는 달라진 요소가 없음에도 전환율이 올랐다’는 사실은 마케터들에게 드라마틱하게 다가옵니다. 배경 색깔을 바꾸는 일은 가장 간단하게 바꿀 수 있는 요소 중 하나이기 때문이죠.
물론 특정 색깔이 지닌 보편적인 심상에 따라, 고객 경험과 클릭률에 차이를 가져올 수 있습니다. 일반적으로 파란색은 긍정, 빨간색은 부정, 회색은 비활성화를 의미하는 것을 예로 들 수 있습니다. 이처럼 색깔이 가진 의미와 버튼의 목적과 다르게 매칭되어 있다면 부정적인 결과가 나타날 수도 있는 것입니다. 그러나 단순히 ‘여름이니까 쿨하게 하늘색 버튼!’과 같은 가설은 어떤 인사이트를 얻기가 어렵습니다.
# 2. 적정한 모수를 고려하지 않음
A/B 테스트를 실행하기 전에 필요한 모수(샘플수)가 어느 정도인가에 대해서 검토하지 않는 경우가 많습니다. 그러나 통계적으로 의미 있는 결과를 얻기 위해서는 어느 정도 규모의 모수가 필요한 것은 사실입니다. A/B 테스트를 실행하기 전에는 적정한 샘플수까지 계획하는 것이 필요합니다.
아래 그래프를 보면 A/B 테스트 초기에는 초록색 그래프 쪽의 컨버전이 높지만, 시간이 지나면서 샘플수가 늘어나자 결과가 역전된 경우입니다. 이처럼 적절한 샘플수를 정해두지 않으면 테스트의 결과를 잘못 파악하는 일도 종종 일어납니다.
시간이 지나면서 달라진 결과, 어떻게 해석해야 할까요?
# 3. No 가설, No 기록
A/B 테스트는 단순히 전환율을 높이기 위한 실험이 아닙니다. 궁극적으로는 더 나은 의사결정을 위한 인사이트를 찾는 것이 목적입니다. 예를 들어 ‘할인율’과 ‘할인 가격’ 중 어떤 문구를 보여주는 것이 구매율이 더 높은지, 여러가지 선택지를 보여주는 경우 몇 개를 보여줄 때 가장 구매율이 높은지, 정확한 가설을 세우고 결과를 반영하지 않으면 한 번의 성공은 가능할지 몰라도 장기적인 인사이트는 얻을 수 없습니다.
플레이텍스몰 배너 A/B 테스트 사례그루비 고객사인 언더웨어 쇼핑몰 플레이텍스몰의 경우, 이미지와 함께 제품 2가지를 보여주는 배너와 이미지 없이 좀 더 자세한 제품 설명 텍스트를 보여줬을 때 어떤 배너가 전환율이 더 높은지 A/B 테스트를 시행했습니다. 그 결과, 언더웨어는 다른 의류에 비해 상대적으로 비슷한 형태가 많기 때문에, 이미지보다 자세한 텍스트를 보여주는 것이 더 전환율이 높다는 인사이트를 얻을 수 있었습니다. 이처럼 가설을 세우고 테스트 결과를 확인하는 것이 필요합니다.
# 4. 결과를 나에게만 유리하게 해석하는 것
A/B 테스트 결과에 대한 해석은 데이터 기반의 의사 결정처럼 보이지만, 이해관계나 본인의 가설을 증명하는 방향으로 결정을 내리는 경우입니다. 보통 A/B 테스트는 ‘내가 하는 일의 성과를 객관적으로 입증하는 것’에 목적이 있습니다. 야심찬 마케터라면 “이번에 시도한 개선안이 매출을 200% 이상 상승시켰음을 A/B 테스트를 통해 증명했습니다!”라고 얘기하는 것을 꿈꾸죠. 하지만 현실은 막상 유의미한 차이가 없거나 변화에 실패하는 경우가 많죠. 이럴 경우, 개선안이 폐기되고 상사나 임원진들에게 성과를 보고하기가 어려워집니다. 하지만 ‘테스트를 위한 테스트’가 되지 않기 위해서는 A/B 테스트를 유연하게 받아들일 수 조직 문화와 용기(!)가 필요합니다.
어느 마케터의 이상과 현실
# 5. 마케터 = 통계학자 (?)
A/B 테스트는 과학에서 오래 전부터 쓰였던 대조 실험(Controlled experiment)을 웹, 앱으로 가져온 것입니다. 이를 통해 가설을 직관이 아니라 데이터로 증명할 수 있지만, 너무 통계에 집착해서도 안 되죠. 통계 실험에서 P-value, 귀무가설, 대립가설 등등과 같은 이론은 중요합니다.
하지만 A/B 테스트를 통해 알고 싶은 것은 ‘A와 B 소재 중 어떤 것이 더 나은가, 이 결과가 믿을만한가’ 정도이지, 이론적인 통계분석이 필요한 것이 아닙니다. 모든 인사이트는 비즈니스의 성장과 연결시킬 수 있을 때 빛을 발합니다!
혹시 야근할 때마다 이러고 계세요? (출처 : 영화 '이미테이션 게임')
A/B 테스트를 시작하는 마케터들에게
A/B 테스트를 이제 시작하려는 마케터분들, ‘작은 것’부터 시작하세요! ’콜투액션(Call to action)’ 버튼, 카피, 레이아웃, 가격 표시 방식, 이미지, 텍스트의 양과 같은 비교적 쉽게 변경할 수 있는 6가지 요소들을 하나씩 바꿔보세요. 수많은 실패를 경험하다 보면, 어느 순간 여러분만의 소중한 인사이트를 경험하게 될 것입니다.
>> AI 마테크 솔루션 그루비 자세히 알아보기
