아이디어를 검증하기 위해서 어떤 지표를 봐야 할까요?
[TTT실험실] - 3 <실패가 지겨운 당신에게>
안녕하세요, 슬슬 매주 글 쓰는 게 힘들어지네요.
오늘은 프로덕트 제작을 위해 5단계로 검증했던 과정 중 가장 저를 힘들게 했던 정량적 검증 과정에서의 고민과 인사이트를 소개하기 위해 누추한 곳에 이렇게 귀한 걸음을 냈습니다.
혹시라도 이전 글을 안 보셨다면, 무슨 이상한 소리를 하는 건지 답답하실 수도 있으니 꼭 확인해 보세요~!
문제 what?
PMF를 찾기 위해 정량적 검증 실험에서 어떤 지표를 비교해야 할지 전혀 감이 잡히지 않음
예전에 소개했던 검증 프로세스 중 3번째 단계why 문제?
"CTR이 5%면 수요가 있는 건가? CVR이 10%면 가능성이 있는 건가?"
상대적인 수치이다 보니 저 숫자들이 의미하는 게 무엇인지 모르겠고, 의사결정을 하기 매우 어려움
가설 what?
타겟팅만 뾰족하게 했다면, 상대적인 수치라도 유의미하게 수요를 검증할 수 있을 것이다.
How 해결?
1. 어떤 지표를 볼 것인가?
예전에 SNS 광고와 랜딩페이지 사전신청 테스트로 검증했던 아이템의 사례를 잠깐 가져오자면,
여기서 추론할 수 있는 점은
CTR1.2%: 클릭률은 낮다
→ 많은 사람들이 공감하고 있는 문제가 아니라고 판단할 수 있음
CVR 24%: 광고를 본 72명 중 20%나 사전신청 전환 됨
→ 광고를 본 사람은 실제로 이런 서비스를 생각하고 있었을 확률이 높음
CPC: 광고 효율이 나쁘지 않음
등등..이 있고, 결론은 아래와 같아요.
테스트 결론이런 방식으로 다양한 지표 중 특히 CTR과 CVR 두 가지 지표를 통해 나름의 결론을 낼 수 있었고, 빠르게 많이 검증해야 하는 저희 상황에서 수요를 판단하기에 가장 효율적인 방법이라고 생각했습니다.
위와 같은 추론을 통해, 저희 팀은 클릭률(CTR)과 전환율(CVR) 두 지표에 대한 가정을 도출했고,
CTR(클릭률): CTR이 2~5% 이상이면 다음 단계를 진행하기에 유효한 아이템으로 판단.
CVR(전환율): CVR 15% 이상이면 유효하다고 판단.
이후 2번의 이터레이션을 거쳐 다음과 같은 success metric을 정의했습니다.
$1: CTR 5%이상
$2: CVR 15% 이상
$3: CTR / CVR 상관관계 확인
즉, 클릭률이 매우 낮게 나오더라도, 전환율이 유효하게 높다면, 타겟군과 니치 시장에 대한 고려를 할 필요가 있다고 판단했고,
반대로 클릭률이 아무리 높아도 전환율이 낮다면 역시 가중치를 두고 의사결정을 진행했습니다.
어떻게 지표를 비교할 것인가?
기본적인 틀을 위와 같이 설정한 상태에서 같은 기간, 같은 횟수, 같은 모수와 같은 예상치의 고객 세그먼트로 타겟팅한다면,
상대적인 수치를 nomalize 할 수 있다고 기대했고 약 10번의 이터레이션을 거치면서 실제로 워킹할 수 있는 지표라고 내부적인 결론을 내린 상태입니다.
물론, 실제로 프로덕트를 serving 해야 확실히 알 수 있겠지만, 적어도 다음 단계로 넘어가는 퍼널의 역할은 충분한 것 같아요.
정량적 검증 결과결론적으로 가장 처음 목표였던, 아이템 간의 상대적인 비교를 진행할 수 있었습니다..!
so what?
이전 글에서도 잠깐 언급했지만, 이 검증과정은 아이템의 유효성을 판단하는 5개의 퍼널 중 하나일 뿐이고, 현재 단계에서 success metric을 아무리 초과해서 달성했다고 한들, 해당 수치가 아이템을 결정하는 단 하나의 기준이 되어서는 안 된다고 생각합니다.
더욱 중요한 건 이 지표들 모두 결국 확실하지 않다!라는 점이죠. 위에서 자신 있게 얘기했지만, 실험을 진행하고 지표를 보는 내내 항상 정말 이걸로 비교하는 게 맞을까? 의문이 들었고, 솔직히 아직도 답을 내리지 못했습니다.
다만, 결국 저는 의사결정을 해야 하고, 올바른 의사결정으로 귀결하기 위한 하나의 믿음 정도의 역할이라고 생각해요.
글로 정리해 보니 그간의 여정이 굉장히 스무스하게 느껴지지만,,, 누구나 그렇듯 절대 순탄하지 않았습니다.
나름의 기준과 결론을 얻기 위해 뛰어나신 PM과 PO분들을 직접 찾아가서 물어봤고, 책이나 아티클, 사례들을 수도 없이 뒤지면서 올바른 의사결정을 위한 사투가 있었던 것 같아요.
마지막으로 한 가지 더 얻은 교훈이 있다면 단순히 데이터를 볼 수 있는 건 아무 쓸모가 없다는 점인데요,
정말 중요한 건 “어떤 데이터를 왜 봐야 하는지 스스로 생각”할 수 있어야 한다는 점인 것 같네요 ㅎㅎ
혹시라도 저와 같은 고민을 하시거나 더 좋은 방법을 알고 계시는 분이 있다면 같이 얘기해 봐요!
그럼 오늘도 애매하게 글을 마무리하면서, 아편 같은 주말+연차를 보내러 가볼게요~!
