데이터로 하는 똑똑한 마케팅 Growth Marketing
이 글은 ConversionXL에 게시된 Shanelle Mullin의 The Growth Marketing Process: How to Shake Your Growth Hack Addiction 글을 제 맘대로 번역하고 요약한 글입니다. 그로스 마케팅을 시작하시는 분들은 읽어보세요 :)
Growth Process를 실행하기전에 먼저 제품과 비즈니스 모델을 입증해야 한다.
OKRs로 시작하여 3개의 key results를 설정
1년 단위로 설정
각 key results는 서로 곱해질 수 있어야 한다 (시너지)
예) N of customers, AOV, Retention 등 (E-commerce 경우)
Average Order Value (AOV)
AOV = Revenue / Number of orders
1년을 90일 단위로 쪼갠다 (분기)
The 90 days is perfect because you can’t really procrastinate but it’s also not absolute panic.
첫 90일동안 목표에 달성하지 못할 것 같더라도 나머지 90일이 한 번 더 있다
Drew는 첫번째 목표로 Retention을 하라고 함
1주일에 몇개의 실험을 할 수 있는가
Timeframe동안 어떤 자원을 사용할 수 있는가
Not brainstorming but MINDSTORMING
각자 흩어져서 아이디어를 도출해내고 긁어모아 회의에서 정리하고 발전시킨다
혼자하지말고 함께하라
아무리 dedicated team이라도 아이디어엔 한계가 있으므로 인턴, 엔지니어, 영업, 운영팀과 함께 아이디에이션 하라
Facebook의 경우 아래와 같이 구성했다
PM Growth
Analyst
Growth Engineer
Digital Marketers
Specialist(s)
리더보드를 만들어서 아이디어를 많이 낸 사람을 격려한다
Essentially, all models are wrong, but some are useful
- George E. P. Box, a British statistician
Potential: 페이지에 얼마나 많은 개선을 주는가
Importance: 페이지의 트래픽에 얼만큼의 가치를 주는가 (트래픽 양 등)
Ease: 페이지에 적용하기 얼마나 복잡한가
단점
각 변수마다 해석의 여지가 많아 객관적으로 평가하기 힘들다
Impact: 이것이 동작한다면 무슨 효과가 있는가
Confidence: 이 아이디어가 동작한다고 얼마나 확신하는가
Ease: 적용하기 얼마나 쉬운가
단점
PIE와 비슷한 문제를 가지고 있음
나의 확신의 불확실성
10점 만점으로 체크하여 주관성이 크게 작용함
Impact: 회사에 도움이 되는가. sales growth, cost savings 등이 측정가능한가
Cost: 적용하는데 얼만큼의 비용이 드는가
Effort: 이 아이디어 실현에 얼마나 많은 자원이 들고 얼마나 많은 시간이 필요한가
장점
Binary scale로 중앙으로 치우치는 성향을 없앰
더 정확하게 평가 가능
단점
여전히 주관성을 배제할 수 없음
3-4점짜리 아이디어가 너무 많아짐
https://blog.optimizely.com/2015/05/05/how-to-prioritize-ab-testing-ideas/
Experiment sheet
What you believe 무엇을 믿을 것인가 (가설)
How you will verify it 어떻게 증명할 것인가
What you will measure 무엇을 측정할 것인가
What conditions need to be met to say whether you were right or wrong with your assumption 나의 가설이 맞았는지 틀렸는지 증명하려면 무슨 조건이 필요한가
당신이 목표로 하는 것
가정
시작/끝 날짜
지표 (Metric)
바뀔 페이지
타게팅할 사람
주시해야할 변수들
예상되는 변화
다음 반복 및 단계 (The next iterations / steps)
추가적으로 있으면 좋은 것:
실험 실행하는 동안 고심한 점
외부 요인들에 대한 고려
다른 사람들이 실험을 되돌아보면서 사용할 수 있을만한 무언가를 만드는 것
Hypothesis 1
We believe that doing [A] for people [B] will make outcome [C] happen. We’ll know this when we see data [D] and feedback [E].
우리는 [A]를 함으로써 [B]의 사람들에게 [C]가 결과로 나올 것이라고 믿는다. 데이터 [D]와 피드백 [E]를 보면 알 수 있다.
Hypothesis 2
If successful, VARIABLE will increase by IMPACT because ASSUMPTIONS.
만약 성공적이라면, ASSUMPTIONS 때문에 VARIABLE은 IMPACT로 증가할 것이다.
Example
By reducing distractions on the product page, our target audience will better understand our products and take the logical next step (purchasing). We’ll know this by observing revenue per visitor.
제품 페이지에서 방해물을 줄이면, 우리의 타겟 고객은 제품을 더 잘 이해하고 논리적인 다음 단계(구매)로 넘어갈 수 있다. 우리는 이것을 방문자당 수익으로 알 수 있다.
스모크 테스트를 실행하라
외부 요인(External factor)를 고려하여 실험 문서에 적는다
빠르게 진행하라
A/B 테스팅을 무조건 포함하기보다는 적절하게 써먹어라
정량적인 데이터로부터 정성적인 성공/실패 이유를 뽑아내는 것이 중요하다.
실험을 제대로 진행했는가
가정이 틀렸다면 왜 틀렸는가
데이터를 세그멘트했다면 결과가 달라졌을까
실험을 최적화하여 다시 실행해야 하는가
가정이 맞다면 왜 맞았는가
다음 실험을 더 스마트하게 실행하려면 무엇을 없애야 하는가
아이디어가 먹혔다면, 최적화하고 더 열심히(double down) 하라. 이 성공을 다른 곳에 적용할 수 있는가
아이디어가 실패했다면, 최적화하여 다시 시도할 것인지 다음으로 옮겨갈 것인지 판단하라. 속도가 생명이다.
매주 월요일 저번주와 이번주에 대한 는의 내용:
저번주에 몇개의 실험을 진행했는지
저번주에 몇개의 실험을 진행하지 못했는지
테스트 결과를 통해 얻은 새로운 경험들
OKRs 대비 진행상황
다음에 계획된 실험들
Long-term으로 자신에게 질문한다:
당신의 가설은 점점 정확해지는가
더 많이 성공하는가
인사이트의 질이 향상되는가
일주일에 더 많은 테스트를 진행하는가
잘 유지되고, 쉽게 접근가능하고, 쉽게 찾을 수 있는 아카이브
내부 배포용으로 더 깔끔하고, 더 탄탄한 문서를 만들 수 있다
같은 실험을 반복하거나 똑같은 결과를 도출하는 실험을 방지한다
새로운 직원이 빨리 습득할 수 있다
미래에 더 스마트하게 테스트를 진행할 수 있다
Growth process의 가치를 증명하고 승인받는다
당신의 인사이트가 다른 부서의 다른 사람들에게 사용될 수 있게 한다