소재 테스트 진짜 성과가 있나요?
실무를 하시다 보면 A/B 테스트 많이 해보실 텐데요,
“버튼 색깔을 빨간색으로 할까 파란색으로 할까?”
“문구에 ‘무료’라는 단어를 넣을까 뺄까?”
광고 캠페인의 성과 개선을 위한 방법으로 이러한 많은 고민들을 하고 계실 것입니다.
마케터들은 이런 작은 변화가 광고 성과를 극적으로 바꿀 거라 믿는 경우가 많습니다.
하지만 소재 A/B 테스트는 대부분 의미가 없다고 감히 말씀드릴 수 있습니다.
광고 성과는 특정 문구 하나, 이미지 영상 속의 리소스 하나로 결정되지 않습니다.
광고를 보는 순간 텍스트, 이미지, 동영상, 유사 브랜드 인식 등의 여러 배경이 겹치게 됩니다.
텍스트는 다르지만 같은 동영상 광고가 함께 노출되어 유저는 동영상 광고를 통해 유입될 수도 있습니다.
보통 텍스트, 이미지, 동영상 광고가 함께 노출이 되는데,
텍스트 A, B
이미지 A, B
동영상 A, B
2 x 2 x 2 최대 총 8종류의 비교군이 생긴다고 볼 수 있습니다.
이 비교군을 모두 테스트한다는 것은 현실적으로 불가능하다고 얘기할 수 있습니다.
'A문구 보다 B문구를 썼을 때 광고 이미지 ROAS 성과가 10% 올랐다'
과연 문구의 차이 때문일까요?
완벽한 A/B 테스트는 존재하기 어렵습니다. 모든 변수를 통제하기가 어렵기 때문입니다.
완벽히 같은 상황, 조건, 환경에서 광고 카피만 다른 이미지를 테스트하는 것이 불가능하다고 볼 수 있습니다.
그렇기 때문에 광고 문구의 차이만이 성과 개선에 큰 영향을 미쳤다고는 보기 어려울 수 있습니다.
그리고 위에 말씀드렸던 것처럼, 다른 형태의 광고 소재들의 성과 간섭이 있었을 수도 있습니다.
광고 소재가 잘 만들어졌고 메시지가 창의적이라도 제품이 매력적이지 않다면 유저는 전환하지 않습니다.
반대로 제품이 강력한 경쟁력을 가졌다면 광고를 하지 않아도 사용자는 관심을 가집니다.
리텐션이 제품 퀄리티 문제인 것처럼, 전환도 제품 퀄리티를 따라갑니다.
광고 소재 A/B 테스트를 기획하고 실험하고 분석하는 일은 소요되는 시간 대비 유의미한 인사이트를 얻기 어려울 수 있습니다.
많은 퍼포먼스 마케터가 매일 광고 문구, 이미지 리소스 배치 등의 소재에 대한 끝없는 테스트에 몰두합니다.
하지만 그것으로 얻는 변화는 정말 사소한 개선일 뿐 성장에 결정적 영향을 주지 못합니다.
그 시간과 비용을 제품 개선, 서비스 퀄리티 강화에 쓰는 편이 훨씬 더 효과적입니다.
마케팅 활동을 통해서 유입된 유저의 데이터를 분석하여 매출을 늘릴 수 있는 전략을 수립하고
이탈 지점을 파악하여 리텐션을 개선하고
결과적으로 제품 개선에 아이디어를 줄 수 있는 데이터 기반의 업무 수행이 필요합니다.
중요한 건 광고 소재를 개선하는 것이 아니라 제품의 힘, 브랜드의 매력, 고객 경험을 개선하는 일입니다.