페북, 인스타 광고 A/B 테스트의 치명적인 오류
페이스북/인스타그램 광고 익힘책 - 21
페이스북, 인스타그램 광고를 진행하다보면 어떤 소재가 더 좋은지 혹은 어떤 타게팅이 좋은지에 대한 인사이트를 얻기 위해 A/B 테스트를 진행한다. 보통 광고 집행자가 우리의 제품이나 서비스에는 어떤 소재가 더 좋을지에 대해 A/B 테스트를 하기 위해서 다음과 같은 셋팅을 진행한다. 첫 번째 셋팅은 수동 분할 셋팅이다. 광고 집행자가 동일한 목적의 캠페인을 3개 생성하여 각각의 캠페인에 동일한 광고 세트(타게팅)를 셋팅한 뒤 서로 다른 소재 A, B, C를 각각 등록시키는 것이다. 두 번째는 머신러닝활용 셋팅이다. 광고 집행자가 한 개의 캠페인, 한 개의 광고 세트를 생성한 뒤 해당 광고 세트에 서로 다른 소재 A, B, C를 일괄 등록한 뒤 광고 알고리즘이 어떤 소재에 예산을 증액하는지 확인한 이후 좋은 소재를 발굴하는 방식이다. 두 가지 방법을 써서 어떤 소재가 좋은지에 대한 결과값을 확보했다고 가정해보자. 과연 이 데이터는 신뢰할만한 데이터일까?
1. 수동 분할 A/B 테스트의 오류
광고 집행자가 1번, 2번, 3번이라는 3개의 캠페인, 동일 광고 세트로 A, B, C 소재를 개별적으로 등록하여 어떤 캠페인에서 효율이 더 높은지 파악해나가는 방식의 수동 분할 테스트를 진행하여 결과적으로 1번 캠페인 > 2번 캠페인 > 3번 캠페인 순으로 광고 효율이 정해졌다라고 가정해보자. 그러면 우리는 자연스레 1번 캠페인에 속한 A라는 콘텐츠 소재가 타 소재보다는 우리 제품이나 서비스와 결이 맞는다라고 판단한다. 그런데 여기에는 수동 분할 A/B 테스트의 한 가지 치명적인 한계점이 존재한다. 이 한계점을 설명하기 위해 가상의 인물 ‘만두’라는 한 사람이 있다고 해보자.
만두는 인스타그램에서 우연히 B 소재를 접하게 되었다. 평소 해당 제품에 관심이 많아 B 소재를 본 이후 해당 쇼핑몰에 대한 관심이 더 생겨 사이트까지는 유입되었으나 아직 월급날이 되지 않아 구매 전환까지는 이어지지 않았다. 그러다 월급날이 되어 인스타그램 피드를 구경하다 우연히 C라는 소재를 접하게 되었고 해당 소재를 통해 결국 구매 전환까지 이어졌다. 만두가 최종적으로 구매하게끔 만드는 기여는 과연 두 소재중에 어떤 소재가 더 강력했다라고 말할 수 있을까?
광고 플랫폼의 통상적인 이론(ex. 라스트 클릭과 같이 마지막으로 소비한 광고 콘텐츠에 구매 기여가 잡히는 알고리즘)에 따르면 결국 구매 기여는 만두가 마지막에 소비한 콘텐츠인 C에 잡히고 만다. 광고관리자의 지표 또한 이론상으로는 C소재가 B소재보다는 광고 효율이 좋다라고 기록된다. 그런데 여기서 놓치는 사실은 만두라는 사람이 결정적으로 제품을 구매해야겠다라고 만든 소재는 C가 아니라 B소재라는 것이다. 수동 분할 A/B 테스트의 오류는 이러한 개개인의 구매 페르소나를 놓치고 만다라는 것이다. 이는 마케터가 광고 지표의 숫자를 넘어 인문학적인 분석을 해야하는 이유가 되기도 한다. 그러면 이런 오류를 어떻게 극복할 수 있을까? 이는 위에서 언급한 두 번째 A/B 셋팅 방식인 알고리즘 셋팅의 오류까지 살펴본 뒤 소개하겠다.
2. 머신러닝활용 A/B 테스트의 오류
페이스북/인스타그램 광고는 마케팅 목적을 설정하는 <캠페인>, 예산, 노출위치, 타게팅을 설정하는 <광고 세트>, 소재를 설정하는 <광고> 총 3가지 영역으로 구조화 되어 있다. 우리는 하나의 광고 세트에 하나의 소재만을 등록시킬 수도 있지만 하나의 광고 세트에 여러개의 소재를 등록할 수도 있다. 후자를 선택한다면 우리는 머신러닝을 활용하여 머신이 판단하기에 가장 성과가 좋은 소재를 선별해낼 수 있다. 사람들이 어떤 콘텐츠에 좀 더 많이 반응하는지에 대한 파악이 완료되면 머신은 특정 소재에 편중된 예산을 지출시킨다. 머신러닝활용 A/B 테스트를 활용하면 페이스북/인스타그램 머신이 효율이 좋다고 판단하는 소재를 발굴하는 것이 가능해진다.
물론 여기서도 한계점이 존재한다. 위에서 언급된대로 가장 "잘 나가는" 소재에 예산을 집중시켜 더 노출이 많이 되게끔 하는 알고리즘이기 때문에 다음과 같은 경우 정확한 소재 테스트를 하긴 어렵다. 가령, A, B, C라는 세 가지 소재를 하나의 광고 세트에 셋팅해둔 이후 A라는 광고 세트가 머신이 보기에 가장 광고 반응이 좋다라고 가정해보자. 그러면 A 소재에 예산이 집중되어 B, C 소재 그리고 추가적으로 광고 등록할 예비 광고 소재 D, E, F 들의 정확한 소재별 A/B 테스트를 진행할 수 없게 된다. 여기까지 내용을 쭉 잘 따라왔다면 그러면 도대체 정확한 소재 성과는 어떤 방식으로 할 수 있을까에 대한 의문이 들게 된다. 그 의문을 지금부터 속시원하게 풀어보려고 한다.
페이스북/인스타그램 마케팅 사이언스 핵심 기능, 분할 테스트
위에서 언급한 수동 분할 A/B 테스트, 머신러닝활용 A/B 테스트의 한계점을 극복해주는 페이스북/인스타그램 광고관리자의 강력한 도구는 바로 분할 테스트이다. 사실 분할 테스트가 업데이트된지는 꽤 시간이 지났지만 매우 유용한 기능임에도 해당 기능이 어떤 기능이며 어떤 상황에 활용해야할지에 대해서는 많이 알려져있지 않다. 말 그대로 <변수>를 설정하여 광고 집행자가 직접 A/B 테스트를 진행할 수 있는데 위의 2가지 셋팅과는 어떤 부분이 다른지 수동 분할 A/B 테스트 셋팅을 <분할 테스트> 기능을 활용했을 때 어떤식으로 적용되는지 살펴보도록 하자.
수동 분할 A/B 테스트 셋팅을 <분할 테스트> 기능을 활용하여 마찬가지로 A, B, C 세 가지 소재를 등록했다고 가정해보자. 기존 수동 분할 A/B 테스트를 진행했을 때 특정 사람이 세 가지 소재를 모두 다 보고 구매를 하여 실질적인 구매에 3가지 소재가 모두 기여했지만 특정 소재를 마지막에 봤다라는 이유로 해당 소재에 구매가 잡히는 한계점이 있었다. 그런데 분할 테스트 기능을 활용하면 같은 타겟을 설정하더라도 머신이 백단에서 임의로 벽을 쌓아 소재 A를 본 타겟은 죽어도 소재 B를 보지 못하도록, 소재 B를 본 타겟은 죽어도 소재 C를 보지 못하도록, 소재 C를 본 타겟은 죽어도 소재 A를 보지 못하도록 셋팅할 수 있다. 즉, 분할 테스트 기능은 간단한 셋팅만으로도 보다 더 신뢰도 있는 결과값 확보하도록 도와준다.
최근에 페이스북 공식 코칭 에이전시의 자격으로 페이스북측에서 광고비 쿠폰을 지원받아 광고주분들에게 광고비 지원과 함께 다양한 실험 가설들을 고민하여 셋팅까지 진행하고 있다. 특히나 해당 기능의 가장 강력한 장점 중 하나는 광고관리자의 명확한 타게팅 A/B 뿐만 아니라 소재의 방향성에 대한 힌트도 발굴할 수 있다는 점이다. 알고리즘이 점점 더 똑똑해지면서 타게팅은 '자동화'의 관점에서 운용이 됨에 따라 '소재'의 중요성은 날이 갈수록 커지고 있는데 이에 대한 방향성을 고민하고 있다면 망설일 것 없이 본 기능을 적극적으로 활용해볼 것을 권한다. 현재에도 활발히 여러 실험들을 기획하고 셋팅중에 있는데 다음 편에서는 분할 테스트 기능에 대한 좀 더 구체적인 내용과 함께 실제 실험 사례들을 공유해보려고 한다.
