션 엘리스는 '하이 템포 테스팅' 즉, 빠른 속도로 테스트하는 문화의 중요성에 대해서 강조한다.
요즘은 시장에 너무 많은 플레이어들이 나와있고, 사용자들의 눈도 상향 평준화 되어있기 때문에 광고비를 많이 쓴다고 해서 고객들에게 도달하거나 구매로 전화되는 것이 매우 어렵다.
개인도 회사도 의사결정의 질을 높이는 것이 중요한데, 이를 위해 올바른! 실험을 많이! 하는 것이 중요하다.
실험이라고 하면 웬지 어릴적의 과학시간에서 배웠던 것 같고, 어려워보이는 느낌적인 느낌이 있는데, 사실 실험은 가설을 가지고 실행을 한 후 결과로 의사결정을 하는 단순한 프로세스이다.
책 '실험의 힘'에서는 이러한 실험을 어떻게 설계해야 하는지, 어떤 요소들을 고려하고 있는지 잘 설명해준다.
특히 테크 기업에서는 수많은 실험을 하게 되는데 2018년 구글에서는 1만건 이상의 실험을 진행했다고 한다. 그 결과로 구글이 광고 최적화를 통해 수십억 달러를 벌고 있는 것이다.
실험을 잘 설계하면 그결과로 상관관계를 발견하기도 하는데, 아래 이미지와 같이 페이스북에서 일주일 내에 10명이상의 친구를 추가한 사용자의 리텐션이 훨씬 높았다거나. 슬랙에서 메시지 2000개가 넘어간 팀은 계속해서 슬랙을 사용할 확률이 높았다거나. 이런 상관관계를 발견한 서비스는 프로덕트 - 마켓핏을 찾고 많은 사용자들을 확보하며 밸류를 높여나가는 것을 보여주었다.
개인도 회사도 내제화된 가치를 외부에 영향을 미쳐 돈으로 전환하는 과정이 꼭 필요하다고 생각한다. 이 과정을 실험을 통해 의사결정의 단서들을 찾을 수 있다.
서비스나 제품을 개선하기 위한 실험 설계와 검증의 템플릿은 아래와 같다.
문제를 정의하고 가설을 세운뒤 목표를 달성하기 위한 실험군을 기획하고 실행한다. 그리고 그 결과를 토대로 다음 실험을 꾸려나가는 사이클을 통해 제품을 개선할 수 있다.
'실험의 힘'에는 구글뿐만 아니라 부킹닷컴, 에어비엔비, 페이스북, 우버 등 수많은 실험을 통해 사용자를 늘리고 수익모델을 찾은 회사들의 생생한 시도들이 나와있어서 실무하는데 많은 참고가 되었다.
스타트업 일수록 자원이 소중하기 때문에 실험 기반의 의사결정을 내리는 것이 더욱 중요한 것 같다. 이 책에는 단순히 실험의 예시들 뿐만 아니라 활용할 수 있는 행동경제학 기반의 사례들도 많이 포함하고 있다. '넛지'의 저자 선스타임 교수 '습관의 힘'의 저자 찰스 두히그, 노벨 경제학상 수상자 앨빈 로스 등이 추천사로 등장하는 만큼 많은 인사이트를 주는 책이다.
플랫폼과 테크기업이 리드하는 시대에서의 의사결정을 알고 싶다면 꼭 읽어보면 좋을 듯하다.
※ 본 콘텐츠는 로크미디어로부터 제작비를 지원 받았습니다.