마케팅 실무에서 'A/B 테스트'라는 말은 정말 자주 쓰입니다. A/B테스트는 내가 비교하고자 하는 대상들 중에 어떤 것이 더 높은 성과를 보이는지를 확인하는 과정입니다. 디지털 광고에서는 광고 세팅 과정의 각 단계에서의 A/B테스트가 가능합니다. 예를 들어 캠페인 단계에서는 ‘타겟CPA로 하는 것이 효율적일지 전환수 최대화로 하는 것이 효율적일지’, 광고그룹 단계에서는 ‘관심사 타겟팅이 효율이 좋은지, 키워드 타겟팅이 효율이 좋은지’, 광고 단계에서는 ‘가격 할인 소재가 좋은지, 제품 성능 강조 소재가 좋은지’등을 숫자로 명확히 알 수 있지요.
그런데 생각보다 많은 마케터들이 단순히 비교하고 싶은 대상들을 동시에 운영하는 액션을 A/B 테스트라고 오해하고는 합니다. 이 말도 완전히 틀리다고는 할 수 없지만 정확한 결과 확보를 위해서는 뒤에 말씀드릴 네 가지 조건을 지켜야만 유의미한 결과값을 얻을 수 있습니다. 오늘은 A/B 테스트를 제대로 하기 위해 반드시 지켜야 할 원칙들을 이야기해보겠습니다.
A/B 테스트의 가장 기본적인 규칙은 '한 번에 하나의 변수만 바꾸는 것'입니다. 그런데 실무에서는 이 원칙이 생각보다 자주 무너집니다. 제가 협업에서 자주 보았던 사례로 예를 들어보겠습니다. 어떤 광고주가 광고 소재 2개를 갖고 A/B테스트를 진행합니다. 광고 소재 A는 '모델 이미지 + 할인 강조 카피'이고, 소재 B는 '제품 클로즈업 이미지 + 감성 카피'를 만듭니다. 그 결과 B의 성과가 더 좋게 나왔습니다.
이러한 결과가 나왔을 때, B 소재가 더 효율이 잘 나온 이유가 무엇일까요?이미지 때문일까요, 카피 때문일까요? 알 수 없습니다. 소재의 구성요소(이미지, 카피) 두 가지를 동시에 바꿨으니까요. 이런 테스트에서 얻을 수 있는 정보는 'B가 A보다 낫다'는 사실뿐이고, '왜 나은가'에 대한 학습은 전혀 남지 않습니다.
제대로 된 테스트라면 ‘이미지는 동일하게 두고 카피만 바꾸거나’, ‘카피는 동일하게 두고 이미지만 바꾸거나’ 하여 한 번의 테스트에서 하나의 인사이트를 얻을 수 있게 설계하여야 합니다. 그래야 이번 학습 결과를 바탕으로 다음 테스트를 설계할 수 있습니다.
A/B 테스트에서 가장 흔하게 저지르는 실수는 데이터가 충분히 쌓이기 전에 결론을 내리는 것입니다. 만약 광고를 이틀 돌렸더니 소재 A의 전환율이 3%, 소재 B의 전환율이 5%가 나왔습니다. 많은 마케터들이 이 시점에서 A를 끄고 B에 예산을 몰아줍니다. 하지만 이때 각 소재에서 발생한 전환이 각각 2건, 3건이었다면 이 결과를 갖고 그대로 밀어 붙히는 것이 맞을까요? 아마 판단하기 어려울 것입니다.
표본이 너무 적으면 결과는 '실력 차이'가 아니라 '운의 차이'를 반영할 가능성이 높습니다. 동전을 10번 던져서 앞면이 7번 나왔다고 해서, 그 동전이 앞면이 더 잘 나오는 동전이라고 결론 내릴 수 없는 것과 같은 이치입니다.
그렇다면 얼마나 기다려야 할까요? 정답은 없지만, 매체에서는 통상 최소 7일~14일의 운영을 권장합니다. 최소 7일을 채우는 이유는 요일별 구매 패턴이 달리질 수 있기 때문이고, 14일이라는 기간은 매체에서 어느정도 학습이 완료된다는 것을 전제로 하는 기간이 14일이기 때문입니다.
기다리는 것이 불안하게 느껴질 수 있습니다. 하지만 섣부른 결론은 학습이 아니라 노이즈에 가깝습니다. 잘못된 결론 위에 쌓인 의사결정은 장기적으로 더 많은 시간과 비용 손실로 이어질 수 있습니다.
테스트를 시작하기 전에 반드시 결정해야 할 것이 있습니다. '이 테스트의 우열을 가르는 지표를 무엇으로 설정할지'입니다.
이 기준을 사전에 정하지 않으면 결과가 나왔음에도 불구하고 비교하고자 하는 대상의 우열을 가리기가 어렵습니다. 예를 들어 소재별로 A/B테스트를 해보니 소재 A는 CPM 효율이 좋고, 소재 B는 CPC 효율이 좋다고 해봅시다. 여기서 둘 중 어느 소재가 좋은 소재라고 볼 수 있을까요? 기준이 없다면 보는 사람마다 답이 달라집니다. A를 밀고 싶은 사람은 CPM을 언급할 것이고, B를 밀고 싶은 사람은 CPC를 강조할 것입니다.
이런 상황을 막으려면 테스트 설계 단계에서 '주요 지표'를 명확히 정해야 합니다. 퍼포먼스 마케팅의 목표가 ‘매출’이라면 ROAS나 전환당 비용(CPA)이 주요 지표가 되어야 합니다. 트래픽이 목표라면 CTR, CPC가 주요 지표가 되어야 하고, 노출이나 도달이 목표라면 CPM을 주요 지표로 설정해야 합니다. 목표한 지표 외에 보여지는 다른 지표들은 보조 지표로써 참고하되, 최종 판단의 근거로 활용되어서는 안됩니다.
변수를 하나만 바꾸는 것만큼이나 중요한 것이, 두 소재가 동일한 조건에서 경쟁하게 만드는 것입니다. 같은 기간에 동시에 노출되고 있는지, 예산 배분이 공평한지, 타겟 오디언스가 동일한지를 확인해야 합니다. 만약 소재 A는 월~수, 소재 B는 목~토에 각각 돌렸다면, 성과가 소재의 차이 외에 요일의 차이로 인해 달라질 수도 있을 것입니다. 그러면 올바른 비교라고 할 수 없겠지요. 다른 예로 소재 A는 10만 원으로, 소재 B는 30만 원의 예산으로 테스트했다면 노출 규모 자체가 달라져 명확한 결론을 내기 어려울 것입니다.
A/B 테스트를 단순히 ‘A보다 B가 낫네’ 라는 한 줄짜리 정리로 끝나면 안됩니다. '우리 브랜드에서 이 메시지 or 타겟팅이 왜 작동하는가'를 더 깊이 있게 알아보기 위한 하나의 학습 요소로 활용해야 합니다. 그래서 디지털 광고는 캠페인 세팅 전 설계가 정말 중요합니다. 이번 캠페인을 통해 어떤 것을 확인할 것인지가 규정이 되어야 그에 맞게끔 세팅이 이루어질 것이고, 이렇게 해야 도출된 결과값에 제대로된 의미를 부여할 수 있습니다.
제대로 된 테스트는 우리 고객이 어떤 USP에 반응하고, 어떤 이미지에 멈추고, 어떤 메시지에 지갑을 여는지에 대한 단서를 줍니다. 그 단서들이 쌓이면 마케터는 감이 아니라 데이터를 기반으로 기획을 할 수 있습니다. ‘변수는 하나씩’, ‘기다림은 충분히’, ‘지표는 사전에’, ‘환경은 동일하게’ 이 네 가지를 꼭 지켜주세요. 운이 아닌 데이터에 기반한 결과를 축적하면 우리 브랜드에 맞는 디지털 광고 전략을 수립하는데 큰 도움이 될 것입니다.
Article by 비키트