16배 성장을 이끌고도 패배한 실험
작업물을 배포하는 것보다 중요한 건 그 임팩트의 크기
PO가 갖춰야 할 가장 중요한 핵심 역량이 무엇이냐는 질문을 받으면 나는 망설임 없이 '문제 정의 역량'이라 답하곤 한다. 제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것. 나는 그것이 제품의 성장을 이끄는 PO 역량의 출발점이라고 생각하기 때문이다. 그리고 그 이유도 간단하게 설명하곤 한다. 임팩트가 있는 문제를 발굴하지 못한다면, 아무리 속도감 있게 팀을 이끈다 해도 제품의 성장을 전혀 이끌지 못할 것이기 때문이라고.
늘 그렇게 답하던 나인데도, 지난 3분기를 가열차게 달리는 동안 제품의 성장에 전혀 도움이 되지 않는, 임팩트 없는 기획을 여러 건 진행해 버렸다. 분기 회고 글 (구독 그로스 팀의 더 특별했던 한 분기)에서 보였듯 분명 지난 분기에는 여러 좋은 레슨들을 통해 핵심 지표의 성장을 일궈내긴 했으나, 그 이면에는 크리티컬한 실수들도 더러 있었던 것이다. 어떠한 사례들이 있었는지 하나의 예시만을 가볍게 살펴보고, 어쩌다 그러한 기획을 하게 되었는지 짚어보려 한다. 아울러 4분기에는 같은 실수를 반복하지 않기 위해 어떠한 액션 아이템들을 가져갈 것인지까지 정리해보려 한다.
16배의 개선폭을 이끌어낸 실험군, 대조군에게 지다.
친구초대 프로모션 참여율이 많이 낮았다. 친구초대의 리워드가 '알라미 프리미엄 사용권'이라는 점에서 참여 유인이 약하다고 생각하긴 했지만, 다른 리워드 (스타벅스 상품권, 올리브영 상품권 등)를 연계하기에는 기획적으로나 개발적으로 리소스가 부족하다고 판단했다. 하여 알라미 프리미엄에 관심이 있을 유저를 타겟하여 친구초대를 넛지 하는 실험을 진행하기로 했다.
프리미엄 구매화면 내 결제창까지 도달했음에도 이탈한 유저를 '프리미엄에 관심이 있지만 결제하기는 싫은' 유저로 정의하고 친구초대를 넛지 해보았다. 그 결과 친구초대 링크를 발급하고 공유하기까지 이르는 전환율이 약 16배까지 치솟았다. 하지만 그럼에도 대조군을 이기지 못했다.
이유는 전환율 증분과 별개로, 절대적인 증분 모수가 너무 작았기 때문이다. 해당 플로우의 개선으로는, 월 50건~80건 정도의 '초대링크 공유하기' 증분이 발생하게 되는데, 실제 유저 유입의 기대 값까지 감안하면 매우 미미한 증분이다. 애초에 프리미엄 구매화면 내 결제창까지 도달하는 유저 모수 자체가 크지 않기 때문에, 그 모수 내에서의 16배 증분은 전체에 큰 영향을 끼치지 못하는 것이다. 기대 임팩트 계산을 제대로 하지 못한 실험이었던 셈이다.
왜 이런 실수를 하게 된 것일까?
1) 부족한 리소스에 대한 강박 - 팀의 성장
오랜 기간 우리 조직은 개발 리소스 부족에 허덕여 왔다. 배포하기로 한 기획들이 적시에 배포되는 것조차 힘들던 시절이 길었다. 하여 최대한 이미 있는 코드(기획)를 재사용하는 것, 간단한 기획으로 큰 임팩트를 노리는 것이 주된 전략이곤 했다. 실제로 그러한 기획들로 쏠쏠한 그로스들을 만들어 오던 터였다. 그러다 보니 어느새 기획이 가볍게 뽑히는 것에 보다 중점을 두게 되었고, 또한 안정적으로 이길 수 있는 실험들 위주로 진행을 하게 되었다. Impact, Confidence, Ease 중 Confidence와 Ease 위주의 기획을 해오던 것이었다. 하지만 지금의 팀은 더 이상 그렇지 않다. 예전보다 엔지니어 동료들이 늘었고, 그들의 역량 또한 출중하다. 이제는 Impact에 보다 더 큰 가중치를 두어도 괜찮은 상황인 것이다.
2) Low Hanging Fruit의 고갈 - 제품의 성장
지난 분기 제품 디자인 리드의 회고 자료 중 발췌 - 어느 새 큰 테마파크로 성장한 우리 제품바로 위에서 밝혔듯, 부족한 리소스 하에서도 쏠쏠한 그로스를 만들 수 있었던 것은 그만큼 low hanging fruit 이 많았기에 가능했던 것이었다. 개발 리소스가 부족했다 보니, Impact, Confidence, Ease 가 전부 높은 기획들이 제법 쌓여 있었다. 신규 온보딩 과정에서의 여러 실험들, 구매화면(Paywall) 내에서의 각종 실험들, 가격과 구독 기간을 활용한 여러 실험들 등등 - 매분기 15개 내외의 실험을 치고 달리면서 단물을 뽑아낼 대로 뽑아내었다. 여러 분기가 지나며 점차 그로스 한계 효용이 낮아지게 되었다. 실험 승률도 높게 유지하는 게 어려워지고, 개선폭도 크게 가져가기가 힘들어졌다. 이제는 High Hanging Fruit로 나아가야 할 때가 온 것이다. 다시 말하면 Confidence와 Ease가 높은 기획 내에서는 이제 유의미한 Impact를 쉽게 기대하기 어려운 제품으로 성장한 것이다.
돌아보니 팀도 성장했고 제품도 성장했는데, 나 혼자 과거에 머물고 있었던 것이었다. 껄껄
다시 초심으로
제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것. 나는 그것이 제품의 성장을 이끄는 PO 역량의 출발점이라고 생각하기 때문이다.
조금은 Risky 하고 개발 난이도가 있는 기획이라 하더라도, 현재의 우리 팀과 제품은 이를 소화할 수 있을 정도로 성장했다. 그리고 앞으로의 더 가파른 성장을 위해서는 이제 진짜 Impact에 더 집중을 해야 할 때이다.
아래와 같은 액션 아이템으로 4분기의 도약을 도모해보려 한다.
1) Impact Size 예측하기
다시 시도해보고 있는 임팩트 사이즈 예측각 기획마다 해당 기획을 통해 기대하는 임팩트의 크기를 미리 예측해 본다. 아주 정확하게 예측하는 것을 목표로 한다기보다 러프하게라도 기획들의 임팩트를 신경 써보는 습관을 들이는 것을 그 목표로 한다. 또한 임팩트를 산정하는 과정에서 그 임팩트를 더 키울 수 있는 방향으로 기획이 조정되는 것도 기대해 본다.
2) Why에 더 집착하기
Ease를 살리느라 해결하고자 하는 문제가 애매해졌던 기획 - 과감하게 Ease를 낮추어 본다.이 기획으로 해결하고자 하는 문제가 무엇인지, 그 문제가 산출된 Impact size와 별개로 지금 꼭 해결이 필요한 문제인지 집요하게 되묻는다. 또한 해결 방식(What, How)을 도출해 내는 과정에서 Ease를 살리느라 해결하고자 하는 문제가 바뀌거나, 여러 개 섞이지는 않았는지도 돌아본다. 최대한 여러 개의 해결 방식(What, How)을 나열해 두고 문제 해결에 가장 적합한 방식을 취해보는 방법도 시도해보려 한다.
3) 함께 자주 이야기하기
그루밍과 별개로 자유롭게 '문제' 레벨에서 이야기 나누는 시간들을 가져본다.Impact Size에 대한 이야기, Why에 대한 이야기를 다른 동료들과 더 자주, 더 깊게 이야기하는 시간을 마련한다. 이를 통해 태스크의 완수율을 높이는 것보다도 임팩트 있는 문제를 해결하는 것이 더 중요하다는 것을 우리 팀 내 컬처에 자연스레 녹이고 싶다.
제품에 미미한 임팩트를 끼쳤다는 결과적 사실 보다 더 견디기 힘들었다는 것은, 나도 모르는 사이에 임팩트에 대한 고민을 많이 못하고 있었다는 점이다. 그간의 수많은 기획들이 결과적으로 쏠쏠한 그로스로 이어졌다지만, 만약 임팩트에 집착을 더 했더라면 더 큰 그로스로 이어지지 않았을까 하는 아쉬움도 뒤따른다. 또한 PO의 불찰로 인해 동료들의 리소스가 더 임팩트 있게 쓰일 기회를 놓쳤다는 사실도 상당히 괴로운 사실이다.
이제 팀과 제품의 성장에 발맞춰, 나 또한 함께 성장해야 할 때이다.
이번 4분기를 불태우며 2023년의 마무리를 임팩트 있게 마무리 지어보자.
