뛰어난 PM의 7가지 조건 - (5) 데이터과학
7가지 코드 - (5) 데이터과학
제품을 과학적으로 측정하고 발전시키는 방법을 알아본다. A/B 테스트, 측정, 실험 결과 5가지 주요 비즈니스 모델에 대한 북극성 지표, 데이터 공통 분포 찾기에 대해 얘기한다. 데이터를 측정하는 방법을 아는 것이 중요하며, 중요한 숫자를 어떻게 움직일지를 아는 것 역시 중요하다.
CODE5. 데이터과학 (Data Science)
20장) 데이터 분포 (Distribution of Data)
- 정규분포 : 데이터가 갖출 수 있는 가장 유명한 형태
- 비대칭분포 : 분포가 한쪽에 치우친 경우를 말한다. 이 경우에는 평균값보다는 중앙값이 더 유용하다.
- 멱함수분포 : 0에 다가갈수록 최고점이되며 꼬리가 긴 형태의 그래프로 나타난다. 멱함수분포와 관련된 법칙은 80/20 규칙 또는 파레토 법칙이다. UGC(User-Generated Contents, 사용자 생산형 콘텐츠)에서는 90-9-1 법칙이라고도 한다.
21장) 실험
[A/B test]
- 유의성을 검증할 때 신뢰구간(confidence interval)를 구할 수 있다. 신뢰구간은 실제 수치가 포함될 가능성이 큰 범위를 제시하는 것이다. 신뢰구간이 0을 포함할 때 우리는 귀무가설을 기각하는 데 실패한다. (실제 수치가 포함될 가능성에 반대의 경우도 있다는 것을 의미하니까!) 0이 포함되는 경우 더 큰 실험을 통해서 결과를 증명해볼 수 있다.
- A/B test를 진행할 때, 그 비율을 1%, 5%.. 99%까지 실험을 한다. 롤백을 위해 100%로 실험하지 않는다.
- 표본 추출 시, 특정한 성향을 가진 사용자만 표본으로 선정되지 않도록 주의해야 한다.
- 단계별 시행의 예시 뉴질랜드 전략: 뉴질랜드(500만명)에서 먼저 출시한 후, 아일랜드(500만명), 호주(2,500만명), 캐나다(4,000만명), 영국(6,500만명), 미국(3억 3000만명)에 출시하는 방법
[A/B 테스트의 함정]
‘지표가 곧 법은 아니다.’ 구글에서 광고링크에 지표가 말하는데로 버튼의 색상을 바꿨다가 디자인적인 일관성이 없어 문제가 되었던 적도 있다.
‘단기적인 지표 개선이 장기적으로 도움이 되지 않을 수도 있다.’ 빙bing이 검색어 사용을 10% 늘린 실험 결과를 얻었지만 실제로는 버그로 인해 사용자가 원하는 결과를 얻지 못해 검색을 지속했던 것이었다.
기이한 결과는 언제나 발생할 수 있다.
좋아 보이는, 나빠 보이는 지표를 체리피킹하지 말아야 한다. 하킹(HARAKing)Hypothesizing After Results are Known)이라고 알려진 이 전술은 과학적인 부정행위로 분류한다.
- 반대지표 : 핵심지표는 오르지만 반대지표에 악영향을 끼치지 않는지 살펴봐야 한다. 반대지표에 영향을 끼치게 되는 경우 자기잠식 효과를 가져올 수 있다. (예를 들면, $11까지 멤버십을 추가했을 때 이 멤버십은 증가하지만 기존의 $9 멤버십은 사용이 줄어들어 전체적인 매출은 감소하게 되는 경우가 나타날 수 있다.)
- 신규효과와 학습효과 : 신규로 도입한 기능이어서 사용자들이 흥미롭게 살펴보았을 가능성(신규효과)과 처음엔 사용율이 더디지만 학습하면서 사용율이 올라올 가능성(학습효과)이 있다. 표본이 충분하다고 실험을 빨리 끝내는 것이 좋지 않다. 장기적으로 값을 확인하는 것이 좋다.
- 엿보기는 하지 않는 것이 좋다. 중간에 성급하게 실험을 결론지어버릴 가능성이 크기 때문이다.
22장) 지표
AARRR에 대해서 다룬다. AARRR은 이전 글에서도 자세히 다뤘기 때문에 생략하고자 한다.
https://brunch.co.kr/@mingsunny/1
23장) 지표 모델
지표 모델에서는 비즈니스 모델 5개를 설명하고 각 비즈니스에서 ‘주요 지표’와 ‘사용자 지표’는 무엇이 되며 어떻게 보면 좋을지 설명해주고 있다.
[서비스형 소프트웨어(SaaS)]
B2B 대상의 소프트웨어 프로그램을 판매하는 회사들이다. 비즈니스의 매출 지표와 사용자 지표가 매우 밀접하게 연결돼 있다. 사용자를 수익성이 높은 사용자가 되도록 유도하고 싶을 것이다. 비사용자에서 무료 사용자로, 그 다음 유료 사용자로. 이 퍼널 사이의 감소율을 측정해보는 것이 SaaS 비즈니스에서 핵심이 될 것이다. 특히 무료 사용자에서 유료 사용자로 넘어가는 비율이 중요한 지표가 된다.
기업 예시 : 슬랙, 구글독스, 마이크로소프트 오피스, AWS, 노션
[프리미엄 앱]
무료로 사용할 수 있지만 인앱 구매 또는 구독의 형태로 유로 업그레이드를 제공하는 모든 제품을 말한다. SaaS가 기업을 대상으로 했다면 프리미엄 앱은 일반 소비자를 대상으로 한다. 여기서 인앱 구매를 한 사용자는 열성적인 사용자에 속하는 편인데, 열성적인 사용자가 흔히 지불하는 액수가 더 크다. 무료 사용자 수를 증가시키는 것보다는 고래(열성 사용자)를 25% 증가시키는 것이 궁극적으로 더 중요하다. 넷플릭스, 스포티파이, 게임 앱들이 여기에 속하는데 특히 게임에서는 DAU/MAU를 중요하게 생각한다.
기업 예시 : 넷플릭스, 스포티파이, 게임 앱
[광고가 있는 UGC (사용자 생산형 콘텐츠)]
사람들이 사이트에서 오래 머물도록 하고 사람들에게 광고를 자주 보여줘서 이익을 얻는 것이다. 따라서 사용자가 앱에 머무는 시간(ToS, Time on Site)이 중요하다. ToS를 극대화하기 위해서는 바이럴 방식으로 더 많은 사용자를 데려오거나 현재 사용자를 앱에 더 오래 머물도록 하는 것이다. 앱에 오래 머물도록 하는 방식 중 가장 단순한 방법은 콘텐츠를 많이 추가하는 것. UGC 기업에서는 포스팅 형식을 개발하는데 시간을 많이 투자하는 이유다. 인스타그램의 ‘스토리’도 체류시간을 오래 만들 수 있도록 만든 하나의 방식이다. 사용자의 지표의 경우 MAU가 중요한 지표이지만 90(눈팅)-9(가끔 포스팅)-1(크리에이터) 라는 점에서 각 유형 사이를 이동하는 것이 어떻게 가능한지 측정할 지표를 찾아야 한다.
기업 예시 : 인스타그램, 유튜브
[플랫폼]
공급과 수요를 매치 시켜 수수료를 가져가는 방식의 비즈니스 모델을 가진다. 공급자가 많아야 소비자가 모이고, 소비자가 많아야 공급자가 모인다. 초기단계에서는 이 둘 중에 하나를 집중해서 모은다. 보통 공급을 먼저 집중해서 모으는 경우가 많다. 공급이 생기면 수요가 자동으로 발생한기 때문이다. (입소문 마케팅도 한 몫 한다.) 하지만 균형 잡힌 성장을 하기 위해서는 현재 상태가 공급이 부족한 상황인지 수요가 부족한 상황인지를 파악하는 것이 중요하다.
기업 예시 : 아마존, 우버, 배달의 민족, 무신사
공급에 초점을 맞추었던 예시
1) 우버의 초기 단계에 공급자를 모으기 위해 운전자들을 고용했다. (나중에는 운전자들이 참여하는 모델로 바뀌게 되었다)
2) 무신사에서도 신진 브랜드, 디자이너 육성으로 공급자를 확보하려는 노력을 하고 있다.
[패션 산업 공백 해결 나선 플랫폼… 무신사 “신진 브랜드와 상생”]
3) 배달의 민족에서도 공급자를 모으기 위해 노력한다. 사장님을 위한 아카데미나 데이터들을 공유하면서 공급자들이 잘 들어올 수 있는 환경을 만들고, 라이더를 모집하면서 배달이라는 서비스를 제공할 사람도 모집한다.
[이커머스]
이커머스의 핵심 매출 모델은 장바구니 사이즈 또는 AOV이다. 사용자 수를 늘리는 것도 좋지만 장바구니 사이즈가 수익성에 더 직접적인 영향을 준다.
구매하는 방문자 비율인 전환율도 중요한 지표이다. 포기율(장바구니를 채우고 결제하지 않는 비율)도 신경쓰기도 한다. 방문>조회>클릭>구매의 퍼널에 사용자들을 밀어 넣는 일에 매우 집중한다.
이커머스의 경우에는 커머스의 속성에 따라 ‘일회성’ 구매자와 ‘충성’ 고객 중 ‘일회성’ 구매자에 집중하기도 한다. (결혼식 물품과 같이 매번 수요가 있는 상품이 아닌 경우) 재구매율을 함께 보면서 신규 고객 모집에 집중할지, 충성 고객에 집중할지 결정할 수 있을 것이다.
기업 예시 : 아마존, 무신사
24장) 데이터 스토리텔링
같은 지표를 보여주더라도 어떤 텍스트가 붙느냐에 따라 보는 사람이 이해하는 내용은 달라진다. 데이터로 주장을 설득하려다 보면 되려 데이터로 반박하고자 하는 경우를 많이 발견할 것이다. 때로는 감성적인 부분으로 다가가 설득하는 것도 방법이다.
인사이트 스토리
마지막은 데이터만큼 보이지 않는 것도 중요하다고 말한다. 마이크로소프트의 CEO였던 스티브 발머는 재임하는 기간 동안 수익을 내는데는 훌륭한 성과를 냈다. 하지만 수익이라는 데이터 이면에 잔인한 조직문화로 새로운 아이디어를 창출할 수 없는 회사로 바꿔버렸고, 새로운 신규 아이템을 개발할 수 없었던 마이크로소프트의 주식은 지지부진한 상태가 되었다. 그 이후 사티아 나델라가 CEO의 자리를 넘겨 받았을 때, 실패를 통해 배울 수 있다는 기업 문화를 불어넣기 위해 부단히 노렸했다고 한다. 사티아 나델라의 재임 기간 동안에는 매출은 10% 성장에 그쳤지만, 주가는 훨씬 높게 올랐으며 미국 최고의 대기업 CEO로 평가 받고 있다.
양적 지표가 중요하긴 하지만 지표의 질적인 측면 또한 중요하다. 질적 지표에 집중하면 장기적으로 양적 지표에 도움이 된다.
