실험이라 쓰고 엉망으로 읽는 마케터들에게
실험이 장난이냐
실험해보자.
빠르게 성장하고 있는 기업뿐만 아니라 새로 프로토타입을 만들려고 하는 초기 스타트업, 혹은 아이디어를 검증하고 싶은 개인들까지. 그로스해킹을 비롯해, 최근 들어 데이터 기반으로 검증하는 실험 중심 프로세스가 각광받고 있다. 개인적으로 기쁘다. 아이디어가 생기면 빠르게 만들어서 돌려보고, 결과를 검증하는 일련의 과정들. 이 모든 건 내가 속한 영역인 과학에서 파생한 과학적 사고이기 때문이다.
최근에 봤던 퍼포먼스 마케팅 관련 분석 역시 마찬가지였다. 한 스타트업의 그로스 데이터를 분석한 글이었다. 그런데 이상했다. 지표에 대한 수식 정의가 명확하게 되지 않아 전혀 다른 값을 나타내고 있었다. ROAS라는 지표는 광고 집행 대비 매출액의 비로 정의한다고 한다. 그렇다면 그 광고에 직접적으로 영향을 받은 매출만을 산정해야 한다. 그러기 위해서는 그 광고에서 실질적으로 구매가 이뤄진 것인지 트래킹 역시 제대로 되어야 유의미한 비교가 된다. 그런데 그 회사의 전체 매출로 잡아버린 것이었다.
대조군 역시 전무했다. 각 기업마다 유의미한 지표값이 다를텐데 무조건 높다고 다 좋을까? 예를 들어 우리 기업에서 실시한 퍼포먼스 마케팅에 대해 ROAS가 500%이 나왔다고 하자. 그런데 동일한 기업군에서 평균적으로 진행하는 광고비 대비 매출이 1,500%이라면 우리는 잘한 걸까?
지표의 단위가 어떻게 설정되어 있는지도 주의깊게 살펴야 한다. 단위라는 게 괜히 있는 게 아니다. ROAS를 살펴보자. 이 지표는 비율을 나타내는 값이다. 단위 중에서도 퍼센테이지는 정말 조심해서 살펴봐야 한다. 분모와 분자가 가지고 있던 원래의 단위를 지워버린 채, 오직 비교값만을 나타내기 때문이다. 그렇지 않으면 무슨 일이 일어날까? 막말로 광고비를 낮추고 전체 매출을 분자로 잡아버리면 ROAS 10,000%도 그냥 나오겠다. 이렇게 하면 누가 그 데이터를 믿어줄까?
