리텐션 높은 유저들은 대체 뭘 했을까?
행동을 하나씩 빼보는 사고실험
튜토리얼을 끝까지 본 유저들의 D+7 리텐션이 33%p 더 높았습니다.
튜토리얼을 끝까지 본 유저들의 D+7 리텐션이 33%p 더 높았습니다. 이런 리포트, 디자이너 분들이라면 한 번쯤 보셨을 거예요. 그래서 보통 이렇게 결론을 냅니다.
'튜토리얼을 더 많이 보게 만들자.' 근데 막상 튜토리얼 노출을 늘렸는데 리텐션은 거의 안 오릅니다. 이런 생각 들죠. 이 행동이 진짜 중요한 거였을까? 아니면 그냥 리텐션 높은 사람들이 우연히 같이 했던 행동이었을까?
상관계수가 만드는 착시?상관계수는 착시를 만든다
리포트에서 자주 보는 형태가 있습니다.
튜토리얼 완료 유저의 리텐션은 42%, 미완료 유저는 9%
이걸 보면 튜토리얼이 리텐션을 만드는구나라는 확신이 듭니다. 근데 현실은 조금 다릅니다. 튜토리얼을 끝까지 본 유저들은 보통 추천 리스트를 여러 개 눌러보고, 마음에 드는 걸 하나쯤 북마크 하고, 알림 설정도 켜 둡니다.
그러니까 튜토리얼 하나만 한 게 아니라 앱 안에서 전반적으로 더 적극적으로 움직인 헤비 유저일 가능성이 큽니다.
우리 서비스의 리텐션을 만드는 진짜 기능은?이 상태에서 튜토리얼 여부랑 리텐션만 단순 비교하면 함정에 빠집니다. 사실은 여러 행동의 효과가 튜토리얼 하나에 다 섞여 들어간 숫자를 보게 되는 것입니다. 상관은 있어 보이지만 이게 진짜 원인이라고 말하기는 아직 어렵습니다.
디자이너가 진짜 알고 싶은 질문
UX 의사결정에서 진짜 궁금한 건 사실 이거예요.
이 행동이 없었으면, 유저는 여전히 돌아왔을까?
예를 들어 어떤 유저가 첫날에 튜토리얼을 끝까지 보고, 추천 리스트를 다섯 개쯤 눌러보고, 북마크를 두 개 해두고, 알림 설정까지 켰다고 해볼게요. 그리고 이 유저의 30일 리텐션 예측 확률이 75%라고 합시다. 그럼 질문은 이겁니다.
이 75%를 만든 주인공은 누구일까?
튜토리얼 때문일까요?
탐색을 많이 해서일까요?
북마크 때문일까요?
알림 설정 때문일까요?
단순 상관계수만으로는 이걸 분리하기가 쉽지 않습니다. 그래서 대부분의 팀은 '그냥 다 중요한 기능이겠지'라는 애매한 결론에 도달합니다.
75%를 만든 주인공은 누구일까요?행동을 하나씩 빼보는 사고실험
이걸 아주 단순하게 생각해 볼 수 있습니다. 아까 그 유저를 다시 떠올려볼게요. 튜토리얼도 보고, 추천 리스트도 누르고, 북마크도 하고, 알림 설정도 켠 유저입니다. 여기서 상상 실험을 해보는 거죠.
만약 이 유저가 튜토리얼만 안 봤다면 여전히 돌아왔을까?
만약 추천 리스트를 안 눌렀다면 여전히 돌아왔을까?
만약 북마크를 안 했다면 여전히 돌아왔을까?
만약 알림 설정을 안 켰다면 여전히 돌아왔을까?
이 질문을 행동마다 하나씩 던져보는 겁니다. 그리고 그때마다 이렇게 보는 거죠. 행동 하나를 뺄 때마다 이 유저가 돌아올 확률이 얼마나 떨어졌지? 많이 떨어졌다면 그 행동이 진짜 중요할 거예요.
거의 안 떨어졌다면 그냥 같이 일어난 행동일 가능성이 큽니다. 물론 이 방식도 '이 행동이 원인이다'를 완벽히 증명해 주는 건 아닙니다. 다만, 여러 행동이 섞여 있을 때 어떤 행동이 리텐션과 더 강하게 연결돼 있는지는 훨씬 선명하게 볼 수 있습니다.
이걸 유저 수천 명, 수만 명에 대해 평균으로만 보지 말고, 신규 유저, 코어 유저, 특정 유입 채널 같은 세그먼트로 나눠 보면 어떤 행동이 언제 중요한지가 UX적으로 훨씬 또렷해집니다.
같은 데이터, 전혀 다른 결론
이렇게 행동 기여도를 다시 보면 결론이 완전히 달라지는 경우가 많습니다. 예를 들어 30일 리텐션 예측 모델에 튜토리얼 완주, 추천 리스트 클릭, 북마크, 알림 설정 같은 행동들이 들어가 있다고 해볼게요.
단순 상관계수로 순위를 매기면, 튜토리얼이 1등이고, 알림 설정이 2등이고, 추천 리스트 클릭이 3등이고, 북마크가 4등일 수 있습니다.
근데 행동을 하나씩 빼보는 방식으로 보면 이게 뒤집힙니다. 추천 리스트 클릭이 1등이고, 북마크가 2등이고, 알림 설정이 3등이고, 튜토리얼이 4등이 되는 식입니다. 왜 이런 차이가 날까요?
튜토리얼은 리텐션 높은 유저들이 거의 다 하는 행동이라서 상관계수는 높았지만 이 행동 하나만 빠졌을 때의 리텐션 확률이 크게 떨어지지는 않기 때문입니다. 반면에 추천 리스트 탐색이나 북마크는 혼자 있을 때도 의미가 있지만 다른 행동 뒤에 붙었을 때 특히 더 중요해지는 행동일 수 있습니다.
행동 기여도와 결론이 완전히 달라지는 경우가 많다?그래서 디자이너는 뭘 바꾸면 될까?
기존 가설은 보통 이렇습니다.
튜토리얼 완주율을 높이면 리텐션이 오를 거야.
이걸 이렇게 바꿔보면 어떨까요?
첫 세션에서 추천 리스트를 충분히 둘러보고, 북마크까지 한 번 해보게 만들면 리텐션이 오를 거야.
물론 이걸로 바로 UX를 뒤집으면 위험합니다. 그래서 실제로는 '튜토리얼 먼저 vs 추천 리스트 먼저' 같은 가설을 A/B 테스트로 검증하는 게 좋습니다. 어떤 가설을 먼저 실험해 볼지 정렬해 주는 데 좋은 출발점이 됩니다. UX를 점차적으로 바꿔볼 수도 있습니다.
튜토리얼 일부는 뒤로 미루고
첫 화면에 추천 리스트를 바로 보여주고
북마크 버튼을 더 눈에 띄게 만들고
또 하나 많이 생기는 착시는 이겁니다. 자주 쓰는 기능이 곧 중요한 기능이라고 착각하는 거죠. 홈 진입, 메시지 보기, 알림 확인 같은 기능들은 DAU 기준으로는 항상 상위에 있습니다. 근데 이건 리텐션을 유지하는 데 필요한 기본 행동에 가깝습니다.
반면 북마크나 추천 리스트 탐색 깊이, 알림 설정 같은 행동은 리텐션을 밀어 올리는 촉발 행동인 경우가 많습니다. UX 리소스는 이 둘을 구분해서 써야 합니다. 유저마다 앱에 돌아오는 이유가 다릅니다.
어떤 유저는 탐색이랑 북마크 때문이고, 어떤 유저는 튜토리얼이랑 메시지 보기 때문입니다. 다름을 기준으로 온보딩 메시지나 푸시 알림 문구, 홈 추천 영역 역시 다르게 설계할 수 있습니다.
나가며
리텐션 높은 유저의 공통 행동을 찾을 때 단순 상관계수는 항상 착시를 만듭니다. 사실 디자이너가 던져야 할 진짜 중요한 질문은 이겁니다.
이 행동이 없었으면, 이 유저는 여전히 돌아왔을까?
이 질문을 던져보는 순간 많이 쓰는 기능과 리텐션을 만드는 행동이 갈라지기 시작합니다. 디자이너에게 중요한 건 차가운 수식이 아닙니다. 어떤 행동이 리텐션과 더 단단히 묶여 있는지를 차분하게 따져보는 관점입니다. 이 관점이 있다면, 온보딩 설계나 기능 우선순위, 실험 아이디어의 질이 확실히 달라집니다.
'리텐션 높은 유저들은 대체 뭘 했을까?' (끝)
