30분 작업으로 30% 매출을 올린 프리셋 실험
어두운 등잔 밑에 자리하고 있는 프리셋의 임팩트
0. 프리셋?
'기본값(디폴트 값)'이라고도 불리는 '프리셋'은 응용 프로그램 내의 초기 설정 또는 설정 값을 의미한다. 모든 기능들이 처음 출시 될 때에 그 프리셋을 어떻게 할지에 대한 고민이 생기기 마련인데, '유저 인터뷰'나 '리서치 자료', 내지는 각자의 '감'에 의존하여 가장 유저가 원할만한 설정 값을 프리셋으로 지정하곤 한다. 그리고 출시 이후에는 해당 프리셋에 너무 익숙해진 나머지, 마치 고정된 기획마냥 늘 그곳에 방치하는 경우가 많다.
그러나 유저의 첫 행동을 지정해주는 역할까지 해주는 프리셋의 강력한 힘을 잊어서는 안된다. 무엇을 프리셋으로 지정해두느냐에 따라 목표로 삼는 지표가 크게 오르내릴 수 있다. 특시 출시된 기능이 영 힘을 못 쓰고 있다는 느낌이 든다면 프리셋을 한번 검토해볼 필요가 있는데, 최근 알라미에서의 관련 사례를 공유해보고자 한다.
1. 연구독 출시 그리고 그로스
알라미의 프리미엄 기능 구독 상품은 '월구독' 과 '연구독', 2가지이다. 월구독을 먼저 출시하였고, 구독 그로스의 일환으로 연구독을 뒤이어 출시하였다. 그리고 이어서 여러 가격 세트를 실험군으로 두는 실험을 진행하였고, 위너로 선정된 가격 세트를 일괄 적용하였다. 연이은 그로스 실험으로 구독 매출이 안정적으로 성장할 것이라 생각했다. 실제로 각 실험들만 놓고 보면 높은 개선의 폭으로 실험군들이 이겼기 때문에 확실한 그로스임엔 틀림 없었다.
관련해서는 이전 Jason의 글들을 통해 어떤 과정을 통해 그로스를 일궈냈는지 확인해볼 수 있다
모바일 구독 상품 Annual가 Monthly 보다 나은 이유
2. 월구독에 대한 재조명
(좌) 예전 구성방식 (우) 바뀐 구성방식22년 연초에 구매화면에 대한 개선 작업이 있었다. 우리가 구매화면에서 지나치게 연구독을 강조한 나머지, 유저들이 월구독의 존재를 인지하지 못하는 것을 해결하고자 했다. 연구독에 대한 높은 컨피던스가 있었고 중장기적으로 아직 연구독 지표들을 지켜보는 와중이었기 때문에 굳이 월구독의 존재를 잘 인지시켜줄 개선이 필요할까 고민도 되었지만, 기존 구매화면이 월구독 입장에서 지나치게 다크하다고 판단되어 별도 실험 없이 곧바로 개선으로 진행하였다. 그리고 전후 비교였지만 놀라운 지표 변화가 있었다.
연구독(파란색)의 하락 없이, 월구독(연두색)이 크게 증대연구독의 큰 이탈 없이 월구독이 크게 증대한 것이다. 즉, 가만히 놔두었으면 연구독으로 구독했을 유저들에게 굳이 월구독을 인지시켜 월구독으로 뺏은 것이 아니라, 가만히 놔두었으면 아무런 구독 없이 이탈할 유저들을 추가적으로 월구독으로 데려온 셈이 되었다. 여기서 새삼 월구독의 힘을 재조명해볼 수 있었다. 무의식적으로 우리가 너무 연구독에 힘을 실어주고 있었을까?
3. 연구독 출시 1년의 도래
연구독 출시의 효능 효과는 단기적으로 판단할 수가 없다. 구독의 생애 주기가 1년에 달하기 때문에 최소 1년은 지켜봐야 그 효능을 제대로 판단할 수 있다. 그리고 실질적인 효능에 맞춰 연구독의 절대적인 가격을 조정해야 할 수도 있고, 월구독과의 상대적인 밸런스를 조정해야 될 수도 있다.
알라미 연구독 가격은 월구독의 12개월치보다 30% 저렴하다. 고로 연구독은 가격만 놓고 보면 월구독의 8.4개월 어치에 해당되는 LTV를 지니는 셈인데, 일부 연구독자들은 구독 이후 환불을 행하기 때문에 환불률까지 고려된다면 LTV 가 소폭 더 낮아진다. 또한 연구독은 유저 입장에서 일시에 부담하는 금액이 크기 때문에 무료체험 전환율(Trial CVR)이나 무료체험 이후 결제로의 전환율 (T2P CVR) 이 월구독보다 낮다. 그렇다면 연구독은 월구독보다 얼마나 더 큰 LTV 를 내고 있고(+), 또 얼마나 낮은 전환율을 내고 있을까(-). 그래서 결과적으로 우리는 더 높은 매출액을 내고 있을까.
LTV 비교 과정의 일부1년이 되는 시점에 맞춰 LTV 와 구독 전환율 각각을 추정치가 아닌 Historical Data 를 기반으로 산출하여 비교해보았다. 그리고 알라미만의 소중한 데이터를 얻을 수 있었다.
연구독이 월구독보다 N배 더 높은 LTV 를 보이는 반면, M% 더 낮은 전환율을 보였다.
N 값은 당초 예상했던 추정치와 유사하게 나왔다. 확실히 연구독 LTV가 정말 우수하구나.
M 값은 예상했던 것보다 낮았다. 유저들이 생각보다 연구독을 부담스러워 하는구나.
문득 우리 구매화면의 프리셋은 연구독 이라는 사실이 머릿 속을 스쳐 지나갔다.
4-1. 프리셋에 대한 조명
등잔 밑에 늘 한결같이 자리하고 있던 '프리셋 = 연구독'에 대한 의심이 피어올랐다. 연구독을 출시할 때에도 의심없이 프리셋은 연구독이었고, 이후 행해진 가격 테스트들의 가격 세트들도 전부 기본 설정값은 연구독으로 해둔 세트들이었다.
만약 프리셋이 월구독이었으면 어땠을까. 결제 이후의 구독 유지율은 상당히 후행 지표이기 때문에 프리셋이 무엇이냐에 따른 영향을 덜 받았을 것 같았다. 즉 LTV 는 프리셋이 무엇이었는지와 상관없이 N 값 그대로였을 것 같았다. 하지만 무료체험 전환율(Trial CVR)은 프리셋의 지대한 영향을 받을 것이라는 강한 확신이 들었다. 연초에 행했던 구매화면 개선 작업으로 월구독이 전환율에서 갖는 힘을 새삼 확인해보지 않았던가.
(좌) 프리셋 = 연구독, (우) 프리셋 = 월구독유저들이 부담을 느끼는 연구독을 프리셋으로 해두는 것과, 부담이 덜한 월구독을 프리셋으로 해두는 것 - 둘 중에 결과적으로 더 큰 매출액을 내는 것은 무엇일까? 궁금해졌다. 구독 건수 자체는 월구독이 프리셋인 실험군에서 더 높게 나올 것이 뻔한데, 연구독의 LTV가 N배 더 높다는 것까지 고려했을 때 누가 더 큰 매출액을 낼지 쉬이 판단이 서지 않았다.
4-2. 우선 예약 꾹
당시 우리 스쿼드는 유저들이 강력하게 원하는 신규 피쳐인 '멀티플 미션' 개발에 여념이 없었다. 컨텍스트 스위칭을 극도로 경계하던 때였음에도 본 실험을 분기 초 가장 먼저 수행키로 했다. 본 실험이 끼칠 임팩트와 컨피던스가 크다고 판단하기도 했지만, 무엇보다 기획 시작부터 디자인 및 개발까지 도합 30분도 채 걸리지 않을 간단한 실험이었다는 것이 의사결정에 큰 영향을 끼쳤다. 그렇게 휘리릭 - 배포가 되었다.
5. 위너 선정
대조군과 실험군 각각에서 연구독과 월구독 건이 모두 발생하였다. 프리셋의 영향으로 대조군은 프리셋이었던 연구독이 월구독보다 건수가 많고, 실험군은 프리셋이었던 월구독이 연구독보다 건수가 많았다.
각 건수중 월구독에 해당되는 건수는 그대로 월구독 가격을 곱한다. 연구독에 해당되는 건수는 연구독 가격을 곱한 후에 12로 나누어 월 매출로 환산해 주고, N배를 곱해준다. 월구독보다 N배 더 구독이 유지될 것이기 때문이다. 그렇게 대조군과 실험군 각각 계산하면, 대조군에서의 매출액과 실험군에서의 매출액이 최종적으로 산출된다.
6. 실험군에서의 30% 증대
안드로이드에서의 개선폭 36.6%
iOS 에서의 개선폭 25.3%프리셋이 월구독인 실험군에서 명확하게 30% 내외의 개선폭을 보였다. 기존 프리셋 (연구독)에 더 큰 찝찝함을 느꼈던 안드로이드에서 더 큰 개선을 보였고, 국가별로 조금씩 다른 개선폭을 보였다. OS 및 국가에 따라 프리셋의 영향력이 달랐을 수도 있고, 연구독의 부담스러움 정도가 달랐을 수도 있다.
승리의 짜릿함도 잠시, 아찔함을 동시에 느꼈다. 이렇게 강력한 힘을 갖고 있는 '프리셋'에 대해 놓치고 있는 다른 화면들이 더 있는 것 아닐까. 알람 해제를 위한 '미션', 알람 '벨소리', '볼륨 크기' 등 과거에 특정 이유로 설정해둔 '프리셋'들이 현재 최적의 값일지 의문이 들었다. 간단한 실험만으로 전반적인 리텐션을 크게 늘릴 수 있을 것 같았다.
프리셋 실험은 매출 개선 폭 자체도 유의미 했다만, 그 외에도 여러 레슨을 얻을 수 있었던 감사한 실험이었다. 다른 등잔 밑을 더 살펴볼 수 있는 계기가 되기도 했고, PO 로서의 '찝찝함'을 덮어두지 말고 확실하게 짚고 넘어갈 필요가 있다는 확신도 얻었다.
자 이제 다시 가격 테스트로 넘어가볼 차례이다. 1년 전 연구독 월구독 가격 테스트의 위너는 대조군과 실험군 모두 프리셋이 연구독인 상태에서의 가격 변수 실험이었다. 프리셋이 월구독으로 바뀐 현 상태에서 최적의 가격 세트를 찾아낸다면, 이는 30% 이상의 매출 개선을 끌어낼지도 모른다.
후속 글로 "60분 작업으로 60% 매출 개선을 끌어낸 가격 테스트" 라는 글을 쓸 수 있기를 바라며...
글을 읽는 모든 제품 관리자들이 기존의 프리셋들을 살펴볼 수 있는 계기가 되었길 바란다. :)
