우리 제품의 아하! 모먼트를 어떻게 찾을 수 있을까?
How to Discover Your App’s ‘Aha Moment’
신규 사용자가 제품의 가치를 느끼는 첫 순간을 뜻하는 '아하 모먼트(A-ha Moment)'는 성장의 나침반과도 같습니다. 모든 유저가 '아하 모먼트'를 경험하고 꾸준히 앱을 사용하면 좋으련만, 일단 그 '아하 모먼트'에 대한 정의 조차 어렵습니다. 특히 가입 후 이용 패턴이 하나의 퍼널을 따라 이어지지 않고, 첫 문을 열고 들어온 순간부터 자유롭게 다양한 행동을 할 수 있는 경우 더 어렵죠.
아하 모먼트를 어떻게 정의할 수 있을지, 그 단계에 대해 상세히 설명한 글이 있어 번역(+약간의 편집)해 공유합니다. 저는 '아하 모먼트'에 대한 이 글을 읽으면서 '아하!'하며 깨달음을 많이 얻었습니다. (ㅎㅎ;)
How to Discover Your App’s ‘Aha Moment’ — Parsa Saljoughian
2017.7.20 / 원문 (링크)
`아하 모먼트(Aha moment)'는 신규 유저가 제품에서 처음으로 가치를 느낀 순간을 의미한다. 정확히는 떠나는 유저와 남아있을 가능성이 높은 유저들을 구분하는 일련의 행동들이라고 볼 수 있다. 페이스북은 10일 내에 7명의 친구와 연결되는 것을 아하 모먼트로 정의한다. 슬랙의 경우 팀 내에서 2000개의 메시지가 오고 갔을 때이다. 각각의 회사들은 고유한 '아하 모먼트'를 가지고 있으며, 높은 리텐션을 만들어내기 위해서는 이를 발견하는 것이 매우 중요하다.
물론 모든 유저가 이러한 특정 지표에 도달했을 때 아하 모먼트를 느낀다고 단정할 수는 없다. 페이스북의 한 사용자는 10일 내에 3명의 친구만 맺었는데도 완전히 헤비 유저가 될 수 있고, 어떤 유저는 12명의 친구를 추가했는데도 이탈할 수 있는 것이다.
그럼에도 '아하 모먼트'를 특정 지표로 정의함으로써 얻을 수 있는 가장 큰 이득은 전체 회사가 명확하고 의미있는 '북극성'을 향해 집중할 수 있다는 점이다. 페이스북의 전 그로스 조직 리드 Chamath Palihapitiya에 따르면 팀은 오로지 '10일 내에 7명의 친구' 만 외쳤다고 한다. 그럼 다음의 단계별 가이드를 차근차근 따라가며 '아하 모먼트'를 찾아보자.
Step1 : 기준(baseline) 리텐션 이해하기
첫 단계는 현재의 리텐션 상태를 이해하는 것이다. 이런 코호트 차트는 Mixpanel이나 Amplitude를 통해 쉽게 만들 수 있다. 특히 유입된 유저를 분류해 코호트를 분석하면 불필요한 데이터를 줄이고 최근 트렌드를 확인할 수 있다. 아래는 메시징 앱의 샘플 데이터이다.
0일 이후 리텐션이 가파르게 떨어지고, 그 후에는 점진적인 감소가 발생하는 것을 볼 수 있다. 30일 간의 그래프로 시각화하는 것이 가장 좋다. 이 수치를 높이는 것을 목표로 진행해보자.
Step2 : 가설 세우기
이제 기준이 되는 리텐션을 파악했으므로, 다음으로 해야 할 일은 어떤 행동이나 기능이 리텐션에 영향을 줄 수 있을지 가설을 세워보는 것이다. 첫 단계로 가장 충성도가 높은 유저와 이탈한 유저 간의 로우(raw) 데이터를 비교해보는 것도 좋다. 충성 유저들이 했지만 이탈한 유저들은 하지 않은 행동은 무엇인가?
메시징 앱의 경우 초기 단계에서 유지된 유저들은 다음의 행동들을 했을 가능성이 높다.
친구 추가하기
메시지 보기
메시지 보내기
그렇다면 가입 후 초기 며칠 안에 친구를 추가하거나 메시지를 보낸 유저들의 리텐션이 높을 것이라는 가설을 세워보자. 신규 유저가 취하는 20-30개의 액션을 모두 리스트업하고 가장 관련도 높은 2-3개를 뽑는 것도 도움이 될 것이다.
Step 3: 가설 검증하기
가설을 검증하기 위해서는 유저들을 특정 행동을 했는지 안했는지에 따라 그룹화하고, 행동 기반 코호트를 통해 이러한 행동들이 실제로 높은 리텐션과 관련이 있는지 확인해야 한다.
다음 샘플 데이터에서 전체 유저와 첫날 최소 1명의 친구를 추가한 유저들의 리텐션 코호트를 비교해보면, 최소 1명의 친구를 추가한 유저들이 첫 30일 동안 더 높은 리텐션을 경험하는 것을 알 수 있다. 특히 첫 주에 그 차이가 크게 나타난다. 모든 핵심 행동을 기준치와 비교해보고, 기준치와 큰 차이가 없다면 다른 지표에 집중하자.
Step 4: 적정한 액션의 빈도를 찾기
우리는 이제 어떤 액션이 리텐션과 관계가 있는지 파악했다. 하지만 최적의 리텐션을 위해 해당 액션이 몇 번 이루어져야 하는지는 아직 모른다. 특정 액션이 '아하 모먼트'가 되기 위해서는 대다수 유저의 전환점(tipping point)를 대표할 수 있어야 한다.
즉, 다음과 같이 해당 행동을 한 유저들 중 남아있는 유저(Most users who performed the action, retained)와 남아있는 유저들 중 해당 행동을 한 유저(Most users who retained, performed the action)의 교집합을 아하 모먼트로 정의할 수 있다.
우리 목표는 겹쳐진 영역을 최대화하는 것이다. 이를 위해 우선 앱의 특성이나 선호도에 따라 리텐션을 정의해야 한다. (예를 들어 가입 후 4주 동안 최소 4번 로그인한 사용자) 다음으로 액티비티 지표를 산출할 기간을 정해야 한다. (1세션, 1일, 또는 1주 뒤에 추가된 친구의 수를 확인)
해당 기준으로 유저 수를 산출한 데이터는 다음과 같다. 특정 행동의 빈도 수에 따라 또는 유지 여부에 따라 코호트를 보기 쉬운데, 그렇게 하면 리텐션을 높이기 위해 가능한 많은 친구를 추가하도록 유도해야 한다는 단순한 결론에 이르게 된다. 하지만 이는 해당 행동을 하지 않았음에도 유지되었던 수많은 유저들이 고려되지 않은 결론일 수 있다.
즉, 최소 8명의 친구를 추가한 대다수의 유저들이 유지된 것이 맞지만, 이 정도 수준의 행동을 하지 않았음에도 유지된 상당한 유저 수는 제외되는 것이다.
- 해당 행동(최소 8명의 친구 추가)을 한 유저들 중 대부분이 남아있는가? YES
- 대다수의 유지된 유저들이 해당 행동(최소 8명의 친구 추가)을 했는가? NO
반대로 유지된 대다수의 유저들은 최소 1명의 친구를 추가하였지만, 최소 1명의 친구를 추가한 유저들 기준으로는 단지 소수만이 유지되었다.
- 해당 행동(최소 1명의 친구 추가)을 한 유저들 중 대부분이 남아있는가? NO
- 대다수의 유지된 유저들이 해당 행동(최소 1명의 친구 추가)을 했는가? YES
결국, 우리의 목표는 겹쳐진 영역을 최대화할 수 있는 최적점(sweet spot)를 찾으면서, 그 외 영역을 최소화하는 것이다. 두 가지 문장에 모두 YES를 할 수 있는 지점 말이다. 이상적으로 두 원이 100% 겹치길 바랄 수 있지만(특정 행동을 한 모든 유저가 유지되고, 유지된 모든 유저가 특정 행동을 함)현실적이지 않다.
최적점을 쉽게 찾기 위해서는 앞선 표에 특정 행동을 하지 않았으나 유지된 유저들의 칼럼을 추가해보면 된다.
A: 유지되었으나 최소 [X]명의 친구를 추가하지 않은 유저 (파란 영역)
B: 유지되었고, 최소 [X]명의 친구를 추가한 유저 (겹친 영역)
C: 최소 [X]명의 친구를 추가한 유저 (겹친 영역 + 골드 영역)
결론적으로 이 데이터를 통해 두 영역의 교집합을 극대화하기 위한 최적의 친구 수는 3명이라는 것을 알 수 있다.
- 해당 행동(최소 3명의 친구 추가)을 한 유저들 중 대부분이 남아있는가? YES
- 대다수의 유지된 유저들이 해당 행동(최소 3명의 친구 추가)을 했는가? YES
리텐션에 영향을 줄 것으로 세웠던 가설 각각의 지표에 대해 이 분석을 해보길 바란다. 만약 데이터 사이언스팀이 있다면 결정 트리 모델링(decision tree modeling)을 통해 더 빠르게 분석해볼 수 있다.
Step 5: 그래프로 점검하기
결과 점검을 위해 행동분석을 위한 코호트를 만들어 리텐션 차트로 시각화해보면 좋다. (이 경우에는 최소 3명 친구를 추가한 유저들의 코호트) 이 그룹이 기준보다 리텐션이 훨씬 높고, 최소 1명의 친구를 추가한 유저들보다도 높다는 것을 확인할 수 있다.
Step 6: 인과관계 파악하기
최적의 구분점(breakpoint)과 행동을 찾았다고 하더라도, 우리의 분석은 아직 완전히 상관관계만을 나타낸다. 인과관계를 파악하기 위해서는 제품의 변화가 실제로 리텐션에 어떤 영향을 주는지 A/B 테스트를 실행해보아야 한다.
예시에서 우리는 유저들이 초기에 최소 3명의 친구를 추가하는 것을 목표로 하기로 결정했다. 이것을 목표로 다음과 같은 테스트를 해볼 수 있을 것이다.
가입 초기에 친구를 추가하도록 제안하기
가입 후의 친구 추천을 더 눈에 띄도록 하기
초기에 친구 추가를 유도하는 툴팁(tooltip)을 추가하기
실험해볼 만한 수많은 테스트가 있고, 이를 각각 다른 방식으로 적용해볼 수 있다. 진짜 '아하 모먼트'를 찾았다고 결론을 내리기 전까지 여러 개의 테스트를 실행해볼 필요가 있다.
이제 '아하 모먼트'에 대한 검증을 완료했다면, 해당 액션을 북극성 지표로 정하고 팀이 집중할 수 있도록 해보자.
(세줄요약) '아하 모먼트'를 찾으려면?
1. 리텐션에 영향을 줄 수 있는 충성 고객의 행동을 리스트업해 가설 세우기
2. 어떤 액션이 유지된 유저와 해당 액션을 한 유저 간의 교집합을 최대화할 수 있는지 찾아보기
3. 해당 액션이 실제 리텐션에 영향을 주는지 다양하게 테스트해보기
