by
Jul 18. 2022
퍼포먼스 마케팅, A/B 테스트가 최선인가?
조건부확률(Conditional Probability)
A/B 테스트 없는 퍼포먼스 마케팅은 얼음 없는 빙수와 같다. 그만큼 필수적인 요소인 것이다.
'Split 테스트'라고도 불리는 'A/B 테스트'는 고객군을 나누어서 마케팅 캠페인을 달리 적용하고 어느 것이 최적인지를 확인하고 선택하는 일종의 마케팅 실험이다. 예를 들어, 고객군의 절반에게는 마케팅 콘텐츠 A버전을 보여주고 나머지 절반에게는 B버전을 보여주는 식으로 A/B 테스트를 진행할 수 있다.
- blog.hubspot.com 중 -
* 본인 번역
A/B 테스트를 통해 최적화를 할 경우 매출에 직접적인 도움을 준다. 사진 출처: Optimizely.com온라인 마케팅에 익숙하지 않은 광고주를 만나면 A/B 테스트를 오프라인 마케팅에 설명하곤 한다. 예를 들어 다음과 같다.
당신이 옷가게를 운영한다고 생각해 보자.
홍보 전단지를 A버전과 B버전 두 종류를 만든다. 두 버전을 나눠주는 날짜를 편향되지 않게 잘 구분한다(하나의 전단지만 주말에 많이 뿌린다든지와 같은 편향을 방지). 그리고 각기 다른 버전의 전단지를 가게 주위를 지나가는 사람들에게 뿌리고 반응을 보는 것이다. 어떤 버전의 전단지를 뿌린 날 더 많은 손님이 가게에 방문하는지를 확인해 보는 것이다.
이를 통해 당신은 더 나은 전단지가 무엇인지 체크할 수 있다. 디지털 마케팅으로 따지면 어느 마케팅 소재가 더 많은 클릭을 일으키는지(클릭률: CTR, Click Through Rate) 그리고 클릭당 비용이 낮은지(클릭당 단가: CPC, Cost Per Click)를 A/B 테스트를 통해 체크하고 더 나은 광고 소재로 최적화할 수 있는 것이다.
당신이 조금 더 열정적이라면 매장 디스플레이를 격주로 바꿔볼 수도 있을 것이다. 첫째 주와 셋째 주는 A버전으로 매장을 꾸며보고, 둘째 주와 넷째 주는 B버전으로 꾸며보는 것이다. 이렇게 했을 때 매장에 방문한 고객이 구매로 이어지는 확률이 어떨 때 더 높은지 확인해 볼 수 있다. 이 또한 디지털 마케팅의 관점에서 본다면 광고를 클릭해서 온라인몰에 들어온 고객이 상세페이지를 보고 얼마나 구매를 하는지(전환율: CVR, Conversion Rate)를 체크하면서 상세페이지를 최적화할 수 있는 것이다.
이처럼 A/B 테스트는 마케팅의 성과 즉 퍼포먼스 (Performance)를 높이는 핵심이다. 그래서 모든 퍼포먼스 마케터들은 늘 A/B 테스트를 염두에 두고 마케팅을 진행한다. 그러나 A/B 테스트에는 몇 가지 단점이 있다.
1. 먼저 개개인의 선호도보다는 소재(페이지) 선호도가 기준이 되어 일종의 다수결로 진행된다는 점
2. 기존 캠페인의 A/B 테스트 결과를 통해 얻은 인사이트를 새로운 캠페인에 반영하여 개선할 수는 있지만 데이터 자체가 연속성을 갖고 진행되기는 힘들다는 점
3. 캠페인 초기 A/B 테스트 기간 동안은 광고 효율이 낮다는 점
그래서 A/B 테스트보다 더 나은 방법은 없을까 하는 생각을 하곤 했다. 유저가 검색했을 때 최적의 결과를 보여주는 사후 반응(reactive) 시스템에서 유저의 성향을 예측해서 추천하는 선제적 반응(proactive)으로 퀀텀점프를 한 다수의 플랫폼들처럼 말이다. 어느 날 그 힌트를 발견했다. 바로 '조건부 확률'에서.
"오늘 아침에 구름이 끼었다면 오후에 비가 올 조건부확률은 60%다." 데이터 과학자들은 다음과 같이 조금 더 간결하게 표현한다.
P(오후 비 | 아침 구름) = 60%
P는 '확률'을 뜻하며, 수직 막대 기호 ㅣ는 '~한다면' 또는 '~라는 조건으로'라는 뜻이다. 막대 왼쪽은 우리의 관심사이고, 막대 오른쪽은 '우리가 알고 있는 지식', 즉 우리가 사실이라고 믿거나 가정하는 '조건이 되는 사건'이다.
- 닉 폴슨, 제임스 스콧의 <수학의 쓸모> 중 -
조건부확률은 넷플릭스와 같은 콘텐츠 플랫폼에서 유저가 좋아할 만한 콘텐츠를 예측해서 추천할 때 사용되는 개념이다. 예를 들어 "봉준호 감독의 <기생충>을 좋아하는 사람이 <살인의 추억>을 좋아할 조건부확률은 88%다"와 같이 말이다. 사용자가 늘어날수록 그리고 그에 따라 데이터가 축적될수록 이러한 조건부확률이 반영된 알고리즘 추천의 정확도는 높아진다.
넷플릭스 추천 알고리즘. 출처: researchgate.net
넷플릭스가 조건부확률을 활용하는 예시. 출처: 스탠포드 대학교