그로스 팀의 지표 미팅 (2)
알라미 구독 지표 개선을 이끌어낸, 지표 모니터링 사례
지표 미팅을 이어가기 위한 가장 강력한 모티베이션은
지표 미팅에서 얻은 시드로 실제 지표의 개선을 끌어내는 경험을 해보는 것일 것이다.
이전 글 : 그로스 팀의 지표 미팅 (1) - 그로스 해킹 방법론에 입각한 알라미의 구독 지표 모니터링
이번 편에서는 딜라이트룸의 섭스쿼드가, 지표 미팅을 통해 발굴한 시드로 실제 지표의 개선을 크게 이끌어 냈던 사례를 하나 살펴보도록 하자. 때마침 해당 사례는 메신저 상에서의 커뮤니케이션이 병행되었던터라 당시 대화 자체를 스크린샷으로 직접 첨부해볼 수 있겠다.
[1/4] 현상 발견과 현상의 명료화
여느 때와 같이 지표 미팅을 준비하는 과정에서 무료체험 전환율 (Trial CVR)의 유의미한 하락을 발견하게 되었다. 4분기 동안 누적된 실험군의 승리로 지표가 지속 우상향 하던 추이였기에 당시의 하락은 매우 당혹스러웠다. 내가 모르는 제품내의 특정 변화가 핵심 지표에 영향을 끼치고 있는 것이 분명해 보였다.
12월 둘째 주부터 지속적인 하락이 목격되었다핵심 지표인 무료체험 전환율을 엔트리 포인트별로 쪼개서 보니 특정 엔트리 포인트에서의 전환율 하락으로 현상이 뾰족해졌고, 추가로 해당 엔트리에서의 앞뒤 화면 퍼널로 나누어 보니 해당 화면으로의 진입률이 급락한 것이 확인되었다. 이어서 그 시점에 배포되었던 작업 내역들을 섭스쿼드의 안드로이드 개발자께서 직접 확인 및 공유해주셨다. (아래 이미지)
곧 시드가 보일 것만 같았던 순간[2/4] 시드 발굴과 팀간 방향성 싱크
우리 스쿼드의 작업 배포가 없었던 시점이었기 때문에 제품 팀 전체의 집단 지성을 동원해야만 했고, 디자인 그룹의 특정 작업이 변인이었을 수 있겠다는 시드를 찾게 되었다. 물론 명확하게 A/B Test 를 진행한 것이 아니라 해당 작업이 지표 하락의 원인이라고 100% 확신할 수 없었다. 또한 어찌되었든 해당 작업은 디자인 그룹의 Goal 을 달성하기 위해 진행된 작업이었기 때문에 구독 스쿼드의 Goal 을 위해 무작정 롤백을 하자는 것도 옳지 않은 솔루션이라 생각되었다.
조심스럽게 접근했던 현상에 대한 가설 수립하여 먼저 발굴된 시드를 기반으로 섭스쿼드 입장에서의 가설을 세웠고, 디자인 그룹의 Goal 까지 모두 충족시킬 수 있도록 해당 가설을 디자인 그룹과 함께 조정해보았다. 이번 가설은 컨피던스가 꽤나 높았던 터라 해당 수정안을 굳이 A/B Test 의 형태로 진행하진 않았고, 그대로 모든 유저에게 배포하여 지표의 개선이 나타나는지 전후 비교만 하기로 하였다.
[3/4] 배포 후 지표 모니터링
본 작업은 연초에 다른 굵직하고 헤비한 작업들로 인해 다소 일정이 밀렸고, 3월 초가 되어서야 비로소 배포되었다. 보통 일반적인 A/B Test 진행시에도 실험 결과를 빨리 확인하고 싶어 안달이 나지만, 이번 배포는 정말 더 기다려졌다. 과연 지표 미팅이 이번에도 임팩트 있는 시드를 찾아낸 것일까? 스스로도 궁금해지는 지점이었기 때문이다.
역시나 보조 지표인 화면 진입률은 본 작업 이후로 명확하게 개선되었다.
이보다 명확할 수는 없게끔 나와서 다행이다. (전후 테스트의 긴장감)그렇다면 해당 화면에서 발생하는 무료체험 전환율은 어떠할까.
올랐다 !! (가운데 OO 효과 는 컨피덴셜)기상체크 엔트리 포인트에서 뾰족하게 하락했던 무료체험 전환율이, 배포 이후 온전히 회복되었다!
알람파워업에서의 지표도 위와 거의 똑같이 확인되었고, 덕분에 본 가설이 팩트였음이 확고해졌다.
[4/4] 회고
핵심 지표가 개선되었다는 것만으로도 매우 기쁜 일이었다. 하지만 이후 더 임팩트 있는 가설을 뽑을 수 있는 시드가 발굴되었다는 것이 더 기뻤다. (어떤 시드였는지 밝힐 수는 없지만) 바로 다른 엔트리 포인트들에도 적용해볼 수 있는 가설이었고, 덕분에 엔트리 여러 지면들에서의 핵심 지표 개선을 꾀할 수 있게 되었다.
다행히 바로 잡은 안드로이드 무료체험 전환율 지표의 추세섭스쿼드는 연말의 갑작스런 무료 체험 전환율 하락에 속수무책으로 당하고만 있지 않았다. 지표 모니터링 덕분에 이를 적시에 목격할 수 있었고, 적은 인풋으로 원인을 빠르게 찾을 수 있었다. 또한 다시금 지표를 회복시킬 수 있었을 뿐만 아니라 추가로 임팩트를 낼 수 있는 가설까지 확보할 수 있게 되었다.
최근 4월 초에는 스쿼트 미션과 걷기 미션에서의 무료체험 전환율이 눈에 띄게 올랐다는 것을 지표 모니터링 중에 알 수 있었다. 마찬가지로 퍼널을 앞뒤로 나눠보니, 미션 세팅하는 화면으로의 진입률은 변함이 없는데, 진입 이후에 전환율이 지속적으로 높아졌다는 것이 확인되었다. 특이한 건 다른 국가에서는 이 또한 변함이 없는데 유독 미국에서만 올랐다는 점이다.
최근의 주요 현상 중 하나과연 이 현상 목격을 통해 섭스쿼드가 얻게 될 달콤한 가설은 무엇일까. (두근)
모쪼록 매주 지표 미팅을 준비할 때의 이 두근거림을 다른 그로스 조직(팀)에서도 함께 느꼈으면 하는 마음이다.
그로스 팀의 지표 미팅 2부 작 끝 !
