숫자에 속지 않는 방법
GROWTH HACKING-(2)
▶ 첫번째 이야기: AARRR 그게 뭔데? (brunch.co.kr)
그로스 해킹은 결국 지표를 기반으로 한다. 현재의 상황을 판단하고, 목표를 설정하고, 개선하는 일련의 과정에서 모두 지표가 활용된다. 따라서 지표의 속성을 잘 알고 있어야 숫자에 속지 않을 수 있다.
지표의 이해
1) 지표의 구분
- 스톡(stock): 일정 시점의 관찰값 (누적 가입자 수, 누적 거래액, ...)
- 플로(flow): 일정 기간 동안의 변화량 (하루 가입자 수, 하루 매출, 일 평균 메시지 수, ...)
- 허무 지표(vanity metric): 서비스가 올바르게 가고 있는 지에 대한 인사이트, 혹은 개선하기 위한 행동을 이끌어낼 수 없는 지표들을 허무 지표라고 한다. 단순히 시간이 지나면서 높아지는 지표들 (스톡 지표인 경우가 대부분이다)이 이에 해당한다.
2) 지표 관련 유의 사항
- 조작적 정의를 하자: 지표를 설정할 때에는 구체적인 기준을 제시해야한다. 예를 들어, MAU를 계산할 때 모바일과 PC에서 모두 접속한 유저는 1명으로 카운트해야할까?
- 전체 관점에서 최적화 하자: 세부 최적화가 오히려 전체 서비스의 관점에서는 문제가 되는 경우가 있다.
- 데이터는 쪼개서 보아야: 쪼개진 데이터에서는 성립하는 관계가, 전체 데이터에서는 성립하지 않는 심슨의 패러독스를 막을 수 있다.
- 데이터의 구성은: 아웃라이어의 영향을 줄이기 위해 대표값 외에 중앙값, 최빈값 등 데이터의 특성에 맞게 지표를 설정해야 한다. 산점도나 상자 수염 그림을 통해서 데이터의 구성을 확인할 수 있다.
-생존자 편향 피하기: 데이터를 선택적으로 편향되게 수집하면 전혀 잘못된 결론을 낼 수 있다.
3)OMTM (One Metric That Matters)
: 전체 서비스 제공자가 공감할 수 있는 북극성 지표, OTMT를 설정해야 한다. 이는 비즈니스 모델, 서비스 라이프 사이클, 현재 가장 큰 문제점, 고객의 행동 등에 따라 다르게 설정할 수 있다. 주로 사용되는 지표는 하기와 같다.
: 주의해야 할 점은 OMTM은 의사결정을 하고 행동할 수 있는 지표로 잡아야 한다는 점이다. 매출은 서비스의 성장과 할상 일치하지 않기에 매출을 OMTM으로 잡는 것은 바람직하지 않다.
- Acquisition: Install, Signup, CAC, Attribution, CTR, Source, Medium, Campaign, ROAS, Bounce rate
- Activation: Funnel conversion, CTR, PV (screenview), Query count, Search keyword rank
- Retention: Classic/Range/Rolling retention, DAU/MAU, Frequency
- Revenue: Sales, Transaction, Purchase rate, ARPU, ARPPU, ARPDAU, ASP, LTV
- Referral: Viral coefficient, Invitation, Share, Post, Adoption rate
데이터 관리
: 데이터를 기반하여 업무 프로세스를 만들고 데이터 활용 능력을 높이려면 어떻게 해야할까. 핵심지표를 설정하여 지속 관리하고, 이에 필요한 데이터 파이프라인을 만들어야 한다.
: 데이터 파이프라인이란 데이터를 쌓고, 필요한 형태로 추출하고 가공하여 활용하는 것을 의미한다. 어떤 데이터를, 어떤 형태로, 어디에 쌓고 어떻게 꺼내볼것인가에 대한 고민이 필요하다.
1) 사용자 로그
: 트랜잭션(transaction)의 결과를 기록하는 것으로 가입이나 로그인, 예약이나 결제 등 하나의 트랜잭션이 완료되면 로그가 남는다. 서비스 운영의 필수 자료로 모든 변경 분을 기록할지 최종 내역만 기록할지, 분석용 데이터베이스를 실시간 스트리밍으로 적재할지 일배치로 할지 정도만 고려하면 된다.
2) 행동 로그
: 스와이프, 상품 검색, 배너 클릭 등 하나하나의 액션에 대한 로그이다. 데이터의 양도 많고 설계의 자유도도 높아 수집과 활용이 까다로운 편이다.
: 행동 로그 설계의 핵심은 이벤트의 속성(property)을 어떤 수준으로 함꼐 남길 것인가를 정하는 것이다. 단순 이벤트만 집계할지, 이벤트의 속성도 집계할지, 이벤트와 함꼐 사용자 속성도 집계할것인지에 따라 축적되는 데이터와 그에 따른 인사이트가 달라진다.
: 이벤트의 기준을 정의한 문서를 이벤트 스키마 설계서라고 부른다. 어떤 화면의 어떤 이벤트를, 어떤 조건에서 발현하는 이벤트를, 함께 기록해야하는 속성은 무엇인지, 어떤 데이터 타입인지, 기록 시점 등의 정보를 담고 있다. 자료가 방대할 경우 정확한 수집이 어려울 수 있어 양보다는 필요한 데이터가 무엇인지 파악하여 집중할 필요가 있다.
A/B Test: 성장 실험
: A와 B 두가지 다른 옵션에 대한 사용자의 반응을 측정하여 더욱 효과적인 방안을 탐색하는 종합 대조 실험(controlled experiment)이다. 가설을 세우고 이를 검증하는 과정이다.
1) 가설 설정
: 독립 변수와 종속 변수를 정의하고, 종속변수의 목표 수준을 정해야 한다. 이미지가 영상보다 클릭률이 10% 높을 것이다 처럼 구체적인 수치를 설정하는 것도 좋다.
- 독립 변수(=설명변수, 예측 변수): 종속 변수에 영향을 줄 것이라고 기대되는 변수로, 예를 들어 '서비스 소개를 보여주는 방식', 일반적으로는 2가지 수준(A와 B)을 정해서 테스트를 진행한다.
- 종속 변수: 인과 관계에서 결과가 되는 변수로, 종속 변수의 변화량에 따라 성과를 판별한다. 앞의 예시에서는 '클릭률'일텐데. 측정 가능해야하며, 구체적인 측정 기준을 미리 설정해야 한다.
- 통제 변수: 독립 변수가 아니지만 종속 변수에 영향을 줄 수 있는 제 3의 변수를 가리킨다. 가입 경로가 클릭률에 영향을 주는 통제 변수일 수 있다.
2) 실험 / 통제 집단
- 랜덤 추출(random sampling): 모든 변수가 추출 확률이 동일한 상태에서의 무작위 추출을 의미한다. 홀수 회원만 추출하는 등의 편의 추출과는 다르다. 또한, 종속 변수에 영향을 미칠 수 있는 통제 변수를 잘 관리해야 한다. 항공권을 예약할 때 출장 목적의 사람과 여행 목적의 사람은 다른 행동 방식을 보일 것이다.
- 순차 / 동시 테스트: A 조건을 일정 기간 테스트 후 B 조건을 노출하는 것을 순차 테스트라고 하는데, 통제 변수를 관리하기 어렵다는 단점이 있다. 이를 보완하기 위해 A-B-A 처럼 재차 테스트를 하기도 한다.
- 샘플의 크기: 전체 집단을 대변하기 위해서는 샘플이 충분히 커야한다.
3) 유의사항
- 조기 중지: 실험 진행 중 p값을 계속 관찰하다가 0.05 이하로 내려갔을 때 조기 중단해버릴 경우, 실제로 없는 효과를 있는 것처럼 판단할 오류의 가능성이 높다.
- 시간의 흐름: 실험이 진행됨에 따라 종속 변수의 차이가 변화하는 경우가 있다. 샘플링 오류, 기능 오류, 데이터 수집의 오류 등이 발생한 것일 수 있으니 시간에 따라 꼼꼼하게 재확인이 필요하다.
- 국지적 최적화: A/B 테스트는 주어진 조건 하에서의 성과를 비교하는 것이다. 따라서 B가 A보다 반응이 좋았더라도 B가 최선의 조건이라는 뜻은 아니다. 전역 최적화(global optimization)가 아니기 떄문이다.
