마케팅 A/B Testing 어떻게 해야할까?
A/B 테스트 프로세스, 성과측정 및 주의해야 할 점
최근 몇 년 사이에 스타트업에서 ‘그로스해킹’이라는 키워드가 유행처럼 번지면서 A/B Testing에 대한 관심이 계속해서 높아지고 있다.
많은 그로스해킹, A/B 테스트 방법론에 대한 서적과 포스팅들이 넘쳐나지만, 사실 대부분 제품 즉 프로덕트 관점의 테스트에 관한 내용이 주를 이룬다. A 화면과 B 화면 중 어떤 화면(UI)이 더 고객 경험(UX)에 좋은가, 화면에서 버튼을 어디에 배치하는 것이 클릭 혹은 구매 전환율 상승에 도움이 되는가에 대한 것이 그 예시이다.
출처: https://www.optimizely.com/optimization-glossary/ab-testing/이렇게 제품 관점의 테스트는 많은 사람들에게 익숙한 반면, 여전히 마케팅 관점에서의 테스트는 다소 생소하게 느끼는 사람들이 많다. 혹은 접해본 경험이 있더라도 A 배너가 클릭률이 더 높은지 B 배너가 더 클릭률이 높은지 비교하는 테스트 혹은 A 푸시 메시지가 더 오픈율이 높은지, B 메시지가 오픈율이 높은지 테스트하는 것 정도의 수준인 경우가 많다.
하지만 이렇게 단순하게만 생각한다면 A/B 테스트를 통해 마케팅 성과를 개선하기에는 한계가 명확하다. 예를 들어 A 고객에게는 5,000원 쿠폰을 주고 B 고객에게는 10,000원 쿠폰을 줬을 때 당연히 B 고객의 구매 전환율이 높을 확률이 크다. 그렇다면 고객에게 10,000원 쿠폰을 주는 것이 마케팅 성과를 개선했다고 말할 수 있을까? 그럴 수도 있고, 아닐 수도 있다.
궁극적으로 A/B 테스트를 하는 목적은 ‘마케팅 활동이 실질적으로 서비스의 성장에 기여하고 있는지’에 대해 명확하게 측정하고, 실질적으로 서비스의 성장에 얼마나 기여했는지 알기 위함이다. A/B 테스트를 통해 테스트 그룹과 컨트롤 그룹의 차이를 정확하게 측정할 수 있기 때문에 마케팅 비용이 효율적으로 사용되었는지 판단할 수 있다. 나아가서 마케팅 비용을 사용하지 않아도 구매할 고객에게 마케팅 비용을 낭비한 건 아닌지의 판단이 가능하다.
그렇다면 마케팅에서의 A/B 테스트 프로세스, 성과 측정, 주의사항에는 어떤 것이 있을까?
1. A/B 테스트 프로세스
문제 의식 > 가설 수립 > 핵심 성과 지표(Key Metric) 설정 > A/B 테스트 설계 > 실행 > 결과 분석 > 다음 액션 아이템 도출
이 프로세스 처럼 테스트 실행 전에, 문제의식을 가지고 가설을 수립하는 단계가 반드시 필요하다. 또한, 어떤 지표를 핵심 성과 지표로 설정하는지에 따라 실험에 대한 성공 여부가 달라질 수 있기 때문에 반드시 사전에 어떤 지표를 성공 지표로 볼 것인지 정해야 한다. 또한, 실험 결과 분석을 통해서 다음 액션 플랜을 정할 수도 있지만, 사전에 결과에 따라 어떤 액션을 추가로 진행할지 미리 계획을 세워두는 것이 일관적인 의사결정과 빠른 실행에 도움이 된다.
2. 성과측정
출처: https://getrecast.com/incrementality/마케팅 활동을 수행한 테스트 그룹과, 수행하지 않은 컨트롤 그룹의 차이가 바로 인크리멘탈리티 즉 순증분을 의미한다. 컨트롤 그룹에서 발생하는 전환율은 아무런 마케팅 활동을 하지 않아도 발생하는 오가닉한 전환율이기 때문에 이 부분은 마케팅 성과에서 제외되어야 한다. 또한 마케팅 비용도 테스트 그룹과 컨트롤 그룹의 전환율의 차이를 반영하여 실제 증분 당 비용을 측정해야 한다.
3. 주의사항
1) 각 실험군과 대조군에 속한 고객의 모든 속성이 골고루 섞였는지 확인하는 작업이 반드시 필요하다. 만약 특정 그룹에 구매 전환율이나 구매 빈도가 높은 고객이 편향되어 있다면, 실험 결과 또한 특정 그룹에 유리할 수밖에 없다. 따라서 마케팅 수신 동의 여부, 첫 구매 여부, 첫 구매 시점, 최근 구매 시점, 객 단가, 구매 빈도 등 다양한 고객 데이터 항목을 기반으로 고객을 그룹별로 균등하게 분배해야 한다. 이 작업은 단순하게는 random 함수로 진행하기도 하지만, 보통 실무에서는 간단한 쿼리로 고객을 골고루 나누는 작업을 진행하는게 보편적이다.
2) 통계학적 유의미성 계산: 해당 실험이 통계학적으로 유의미한지 살펴봐야 한다. 의외로 이 부분을 놓치는 사람들이 많은데, 특히 컨트롤 그룹과 테스트 그룹의 차이가 크지 않을 경우 해당 작업을 꼭 거쳐야 신뢰할 만한 결과라고 판단할 수 있다. 다행히도 최근 A/B 테스트 결과가 유의미한지 무료로 계산해 주는 서비스가 굉장히 많다. 구글에 ‘A/B TEST Calculator’라고 검색하여 본인에게 더 쓰기 쉬운 서비스를 선택하는 것을 추천한다.
인크리멘탈리티를 측정하고 극대화 함으로써 전체 매출을 키우고 싶다면?
