다섯번째 코드: 데이터 과학
7가지 코드 - (5)
: "데이터는 논쟁을 이긴다"
[20장] 데이터 분포
성인 여성의 키 처럼 정규 분포를 따를 경우는 평균과 표준편차, 소득과 같이 비대칭 분포를 따를 경우는 중앙 값을 보는 것이 좋다. 대부분의 IT 회사들에서는 멱함수 분포가 포착되는데, 이를 수식으로 표현하면 y = ax (-b승) 이다. 상위 20%가 80%를 차지한다는 파레토의 법칙을 생각해보면 된다. '고래'로 비유되는 20% 단골이 매출의 80%를 차지하는 것이 매우 흔하다는 것이다. 이는 열성 팬 층을 만드는 게 중요하다는 것을 다시 한 번 알려준다.
멱함수 분포
[21장] 실험: A/B 테스트
두 개의 UI 중 유저는 어떤 것을 더 편리하게 느낄까? 이러한 질문에 답을 얻기 위하여 통계적 유의성 검증 방법을 택하는데, 이것이 바로 A/B 테스트 이다. 귀무가설을 세우고 신뢰 구간에 따라 기각하거나 채택한다.
1.단계적 테스트:
아직 검증되지 않은 제품을 유저에게 내놓고 싶어하지 않기에 실험군을 좁게 잡는 경우가 많다. 극단적으로 유저가 많은 서비스는 실험군을 1%, 통제군을 99%로 놓기도 한다. 실험군에서 유의미한 결과가 나오더라도, 이를 바로 전체 유저에 도입하지 않고 1% → 5% → 20% 등 단계적으로 적용하는 신중한 방법을 선호한다. 재미있는 점은 100%의 유저에게 새로운 서비스를 선보이지는 않는다는 점이다! 전체 유저의 99%에게만 적용, 1%는 홀드백 그룹으로 잡아두는데 이럴 경우 영구적으로 A/B 테스트가 가능하기 떄문이다.
2. 뉴질랜드 전략:
또 다른 재미있는 A/B 테스트 방식은 뉴질랜드 전략이다. SNS 등 서비스의 개선이 양방향에 영향을 미쳐 일부 인구 대상만으로 테스트 하기가 어려운 경우에는 특정 국가나 지역을 대상으로 먼저 신규 서비스를 도입해 테스트 해볼 수 있다. 그러나 이 경우 무작위성이라는 가정을 위배하기에, 해당 국가나 지역의 결과가 다른 곳에서도 동일하게 적용될 것이라는 추가 근거가 필요하다.
3. 큰 주목 이론:
세간의 주목을 끌고, 마켓을 리드하기 위하여 프레젠테이션을 하는 경우가 있다. 애플의 신 기능 발표를 생각해보자. 그러나 이 경우에도 한 번에 모든 유저에게 새로운 서비스를 선보이지 않아도 괜찮다. 특정 유저에게 먼저 선보인 후 그들의 피드백을 받아 개선, 개선된 서비스를 더 많은 유저에게 적용하는 것이다. 이 떄문에 지역별로 신규 서비스 런칭일이 다른 경우가 종종 있다.
유념해야 할 점은 A/B 테스트는 국소적인 최적화이지 글로벌 최적화가 아니라는 것이다. 한 지표가 좋아지더라도 다른 지표에 악영향을 미칠 수 있다. 예를 들어, LTV를 높이더라도 CAC가 더 크게 높아진다면 이는 좋은 개선 방안이 아닐 가능성이 높다. 또한, 초반에 궁금하여 유저가 몰리는 신규 효과나 혹은 반대로 낯설어서 일시적으로 지표가 부정적으로 보이는 학습 효과가 발생할 수 있기에 A/B 테스트 기간을 너무 짧게 하는 것은 좋지 않다. 적어도 3~4주 정도를 권장한다.
통계적으로 유의미한 것이 정말 맞는지도 중요한 고려사항이다. 실험군이 정말 무작위로 선정 되었는지, 베타 테스터 참여 동의를 받았다면 그들이 정말 전체 유저를 대변하는 지 등을 검증해보아야 한다. 테스트 중간에 p값을 확인하며 긍정적인 지표가 보일 때 임의로 테스트를 중단하거나, 여러 데이터 중 마음에 드는 데이터만 체리피킹 하는 것은 옳은 방법이 아니다. 전체적인 관점에서 보아야 한다. 무엇보다도, 데이터가 중요하지만 전부는 아니다! 실험적이고 혁신적인 도전을 가로막지 않도록 해야한다.
[22장] 지표: AARRR
핵심은 선행지표(Aha Moment)를 발견하는 것이다. 'X한 사람들이 충성 고객이 된다' 라는 북극성 지표 X를 찾아내는 것이다. 유저가 X를 경험하기까지의 여정을 크리티컬 패스(critical path)라고 부르며, 더 쉽게 X를 경험할 수 있도록 하는 것이 핵심이다. 단, 이러한 행위 X가 시간의 흐름에 따라 바뀔 수 있다는 것을 염두에 두어야 한다. 누적 이용 유저처럼 시간이 지나면서 자연스럽게 쌓이는 지표는 현재의 상황에 대해 아무런 정보도 알려주지 못하는 대표적인 허영(vanity) 지표이다.
무엇을 핵심 지표로 삼을 지는 비즈니스 모델에 따라 상이하다. 엑스박스는 수년간 콘솔 판매액을 핵심 지표로 삼아왔으나, 실제로 엑스박스를 사랑하고 계속 사용하는 핵심 유저는 엑스박스 라이브 서비스를 사용하는 유저라는 것을 꺠달은 후 라이브 서비스 MAU 확대로 목표를 바꿨다. 반면, 에어비앤비 같은 양방향 마켓플레이스에서는 MAU보다 매출이 중요할수 있다.
Acquisition: 얼마나 많은 관심을 이끌어내는지
(지표) 랜딩 페이지 조회 수, CTR, 키워드 검색 순위, 획득지표 ROI
Activation: 잠재적인 유저 중 실제 유저로 전환되는 비율
(지표) 전환율 (conversion rate)
Retention: 유저가 서비스를 지속 사용하는 비율 (↔ 이탈, churn)
(지표) MAU, DAU, 고착도(stickiness, DAU/MAU), 리텐션 = 1- 이탈율 (D1, D7, D30)
Referral: 기존 유저가 새로운 유저에게 추천
(지표) NPS, 바이럴 계수 K (유저가 생성해내는 신규 유저 수의 평균), 바이럴 주기 VCT (시간)
Revenue: 수익을 낼 수 있는 비즈니스 모델
(지표) CPM, AOV(평균 주문 가치), 장바구니 사이즈, ASP(평균 판매 가격)
[23장] 지표모델
1) 서비스형 소프트웨어(SaaS): 유료 사용자의 수가 매출과 직결되기에, 퍼널의 단계 사이에 감소율에 집중하여 유로 사용자로 인도하는 것이 중요하다. 넷플릭스와 같은 구독 모델은 B2C를 대상으로 한다는 것 외에 상당히 SaaS와 동일한 양상을 보인다.
(지표) ARPPU
SaaS 퍼널2. 프리미엄 앱: 인앱 구매 등 유로 업그레이드 모델을 제공하는 모든 앱이 해당된다. 열성적인 사용자 (일명 '고래)가 매출의 대부분을 차지한다는 점에서 열정적인 팬을 확보하는 것이 중요하다.
(지표) ARPPU, ARPU, 고착도(DAU/MAU)
인 앱 구매 퍼널
인 앱 구매 지표 트리3. 광고가 있는 UCG(사용자 생성 콘텐츠): 인스타그램은 광고를 통해 매출을 내는데. 사용자가 사이트에 오래 머무를 수록 노출되는 광고가 많기에 ToS(사이트에 머문 시간)이 매출에 직결된다. ToS를 극대화하기 위해서는 바이럴을 통해 신규 유저를 대거 유입하거나, 더 많은 콘텐츠를 추가하여 더 오래 머무르게 하는 것이다. UCG는 보통 90%의 단순 뷰어 > 포스팅을 올리는 9%의 기여자 > 콘텐츠를 생성하는 1%의 크리에이터로 구성되는데. 이들 사이에 이동이 어떻게 이루어지는 지 지표를 찾는 것이 중요하다. 네이버에서 '인플루언서' 기능을 도입한 것이나, 유튜브에서 구독자 N만명시 버튼을 주는 것도 크리에이터를 늘리려는 노력이다.
(지표) MAU, ToS
UCG 퍼널
UCG 지표 트리4. 양방향 마켓 플레이스: 수요자와 공급자를 매치시켜 거래가 성사시키면 매출이 발생한다. 에어비앤비, 도어대시, 엣시 등 대부분의 기업들은 공급을 먼저 구축하여 수요를 불러일으켰는데. 로버나 질로우처럼 수요를 먼저 구축한 경우도 존재한다. 현재 상황에 따라 공급 / 수요 중 무엇을 늘리는게 효과적일지는 달라진다. 예를 들어, 에어비앤비에 이미 공급이 충분하다면 추가 공급은 추가 수요만큼의 거래를 일으키지 못한다.
(지표) 거래 성사 수
양방향 마켓 지표 트리5. 이커머스: 물리적인 세계와 연관이 있다는 점에서 순수 it 회사들과는 조금 결이 다르다. 사용자의 구매액이 매출에 직결되기에 사용자를 늘리거나 장바구니 크기를 늘리는 것이 중요하다. 한 가지 또 생각해보아야 할 점은 장바구니 포기율이 60%에 달한다는 것이다! 매일 방문하더라도 구매로 이어지지 않는다면 유효한 사용자가 아니기에, AARRR에서 '판매' 퍼널까지 넘어가도록 집중해야 한다. 웨딩 산업같이 특정한 분야에서는 신규 유입이 '고래' 보다 중요할 수 있다.
(지표) 장바구니 수, 전환율, 장바구니 사이즈
E커머스 고객
E커머스 지표 트리[24장] 데이터 스토리텔링
동일한 데이터도 보는 시각에 따라 전혀 다른 이야기를 할 수 있다. 데이터를 통해 어떤 이야기를 할 것인지를 잘 생각해봐야 한다. 예를 들어 우버와 리프트 간에는 상당한 매출 격차가 있는데 이 데이터는 ① 우버가 시장을 압도하고 있기에 현행을 유지해야 한다. ② 우버가 아직은 시장을 선점하고 있지만 그 차이가 줄어들고 있기에 위기의식을 가져야 한다. 라는 서로 상반되는 두 가지 주장을 하는데 모두 사용할 수 있다. 데이터를 보는 시각이 비즈니스 방향의 변화를 가져올 것이다.
하나 명심해야 할 것은 데이터가 중요하기는 하지만, 데이터로 볼 수 없는 것들이 있다는 점이다. 마이크로소프트에서는 지표 개선을 위해 부서 간 경쟁을 종용해 조직문화에 심각한 타격을 입었고, 오히려 지표가 나빠지는 결과를 낳았다.
