세월 앞에 장사 없다
작년에 이겼던 실험군이 이번에는 지다.
그간 제품 내 신규 유저 온보딩에서의 구매화면 노출과 관련하여 수없이 많은 실험들을 진행했었는데요, 가장 뜨거웠던(?) 변수는 어느 시점에 노출시키느냐였습니다. 단순히 하나의 핵심 지표만 바라볼 것이 아니라, 이로 인해 부정적인 영향을 받게 될 가드레일 지표를 함께 살펴야 했기 때문인데요, 치열한 논의 끝에 현재의 버전이 베이스라인으로 유지되어 오고 있었습니다. 당시에 적절한 노출 시점을 찾은 것이지요.
(관련 지난 글 1 : 리텐션을 고려한 첫 구독 유도의 중요성 - 온보딩 구매화면 노출 시점 최적화 실험)
(관련 지난 글 2 : 구독과 리텐션 밸런스 게임 - 구독 전환율 2배 개선 vs D1 리텐션 10% 개선)
재실험을 하기로 하다
그로부터 9개월가량의 시간이 지나고, 적절하다고 여겨져 온 '온보딩 구매화면' 노출 시점에 대해 Revisit을 하기로 했습니다. 그간의 제품 내 퍼널 데이터 추이와 더불어 유저 관찰 카메라 등을 통해 점점 해당 시점이 적절하지 않다고 느꼈기 때문입니다.
(왼) 작년 실험 (우) 이번 실험배경 : 동일한 D1 리텐션, 다른 의미
분명 A/B Test를 통해 D1 리텐션 하락 없이 구독 전환율을 올린 실험군을 골랐던 것입니다만, 대조군과 실험군의 동일했던 D1 리텐션이 시간이 흐름에 따라 다른 의미로 다가오게 되었습니다.
첫 번째로는 똑같은 비중이 이탈했었다고 할지라도 서로 이탈 시점이 달랐다는 점인데요, 기존의 구매화면 노출 시점과 달리 현재의 노출 시점은 여러모로 제품 그로스에 불리하게 작용하게 되더군요. 어차피 나중에 가면 이탈할 유저들이었을지도 모르지만 최소한 우리 제품에 대해 소개하고 어필할 수 있는 기회조차 없다는 점에 큰 제약이 되었습니다. 특히 올해 알라미는 기상에서 수면으로의 가치 확장에 박차를 가하고 있었기 때문에 이러한 제약은 더 큰 어려움이 되었고요.
두 번째로는 똑같은 비중이 이탈했다고 할지라도 어떤 인상을 갖고 이탈하느냐가 달랐다는 점입니다. 이는 정량적 데이터로는 알기 어려웠던 사실이고, 수차례 유저 관찰 카메라를 진행해 보고 깨달은 점입니다. 신규 유저 온보딩을 끝까지 보고 이탈한 유저의 경우는, '지금 나의 문제를 해결해 줄 수 없는 서비스인 것 같다' 정도의 인상을 갖고 이탈하는 한편, 온보딩 초반 부의 구매화면 노출로 인해 이탈한 유저의 경우 '이 앱은 완전 유료 앱이구나'라는 생각을 갖고 이탈하게 되더군요. 이는 엄연히 마이너스 효과가 다르다고 판단이 되었습니다.
맨 마지막에 남는 유저 수가 동일하더라도, 이탈을 하면서 하는 생각들은 서로 다를 수 있다전자의 유저는 언젠가 다시 우리를 찾을 수도 있겠다는 생각이 든 반면, 후자의 유저는 영원히 우리를 찾지 않겠구나 싶었습니다. 또 어딘가 친구들에게 부정적인 입소문을 낼 수도 있겠다 싶었어요. '나는 나랑 안 맞을 것 같아서 안 썼는데, 너는 맞을지도 모르니 한번 설치해 봐'와 '그거 완전 유료 앱이던데, 돈 내고 써야 될 걸'은 전혀 다른 방향으로 바이럴 효과가 날 것 같았죠.
재실험 : 동일한 변수, 다른 상황
하여 예전에 했던 실험을 그대로 재실험하기로 했습니다. 변수도 동일하게 '노출 시점'이었고요. 다만 그 사이에 저희 제품이 달라졌습니다. 수면 서비스로의 확장으로 인해 온보딩 과정에 수면 관련 내용들이 더해져 있었죠. 구매화면을 늦게 보게 되는 실험군의 경우 지난 실험과 달리 '수면에 대한 내용'들을 더 접할 수 있게 되는 셈입니다. 그 외에 앱 스토어 내용도 예전과는 사뭇 달라졌고요. 동일한 실험을 재실험해보는 것은 처음이어서 결과가 무척 궁금했습니다.
핵심 지표 및 가드레일 지표
이번에는 지난번과 반대로 핵심 지표를 D1 리텐션으로 잡았고, 가드레일 지표를 구독 전환율로 잡았습니다. 이제는 우리도 두 지표 간 트레이드오프 관계를 명확하게 인지하고 있기 때문에 가드레일의 하락 허용 구간을 구체적으로 잡은 상태에서 작업을 개시하였죠.
이전과 다른 결과가 나오다
놀랍게도 결과(위너)는 달라졌습니다.
9개월간 시장도 유저도 우리 제품도 변화해 왔고, 마치 그 변화가 반영된 결과로 보였습니다.
구매화면이 늦게 노출되는 과정에서 소구 된 온보딩 내용들이 예전보다 더 설득력이 있었던 것일까요. 지난번에는 구매화면을 늦게 노출시켰던 것이 별다른 D1리텐션 차이 없이 구독 전환율만 낮았다면, 이번에는 별다른 구독 전환율 차이 없이 D1 리텐션이 높게 나왔습니다.
정말 다행히 그간 큰 제약으로 작용했던 온보딩 구매화면 노출 시점을 변경할 수 있게 되었습니다. 각 목적조직(스쿼드)들이 더 자유롭게 온보딩이라는 도화지 위에서 마음껏 우리 제품의 가치를 어필할 수 있게 되었습니다. 참고로 특정 국가들의 경우 소폭 구독 전환 하락을 보이기도 했는데요, 마치 이번 실험이 예전에는 졌는데 이번에는 이겼던 것처럼, 온보딩 과정에서 가치 소구를 더 탄탄하게 강화하면 충분히 메울 수 있는 하락폭이라 생각되더군요. 여러 후속 그로스들로 메워줄 예정입니다.
또 무엇이 달라졌나
동일한 실험이었음에도 다른 결과가 나오며 입체적인 레슨들을 남겨 주었는데요, 제품 결과와 별개로 또 달라진 점들이 있었습니다. 9개월 전에는 D1 리텐션과 구독 전환율의 충돌에 있어서 누구의 손을 들어줘야 할지 다소 우왕좌왕했었습니다. 위너 선정하는 과정이 어수선했었죠. 하지만 이번에는 기획부터 위너 도출까지 별다른 혼란 없이 깔끔하게 의사 결정들을 진행할 수 있었습니다. 어느 정도의 트레이드오프면 적당할지, 그 기준치에 대해 모두가 이미 비슷하게 인지하고 있기 때문에 이제는 이견이 잘 발생하지 않기도 하고요. 또 혹시 조금 의견이 다르다 할지라도 간단히 논의하면 결정할 수 있다는 사실을 주지하고 있기 때문입니다. 그간 두 핵심 지표 간의 저울질이 일상처럼 익숙해졌거든요. 제품과 함께 저희 팀도 성장한 셈입니다.
지난 그로스 레슨들을 차곡차곡 쌓아가며 후속 기획들은 잘 이어 갔습니다만, 한번 검증했던 변수를 다시 살펴보지는 못했던 것 같습니다. 또한 정량적 데이터 이외에 유저 관찰 카메라 등을 통해 수집한 정성 데이터를 살펴볼 생각도 잘 하진 못했고요. 시장과 유저들이 변화하는 만큼, 저희 제품도 이미 확인된 위너들을 맹신하지 않고 주기적으로 의심하는 습관을 가져야 되겠습니다.
앞으로 또 어떤 Revisit Case 가 글로 공유될지 기대해 주세요!
(아, 관찰 카메라 관련해서도 몇 가지 레슨들을 한 차례 글로 남겨봐야겠습니다.)
