런칭단계에서 측정기준 세우기
망해보면서 알게된 것 2
검증을 위한 아닌 구현이 되어버린 런칭
" 이번 출시에서 저희 팀의 목표가 무엇인가요 ?
" 음.. 그야 당연히 가맹 신청율이겠죠."
제품의 성공판단 기준이 비즈니스 성과를 나타내는 후행지표가 되면 가설에 대한 결과 판단도 모호해질 수 밖에 없다. 당연한 결과로 다음 스프린트별 액션아이템과 개발 범위는 계속해서 변경되었다. 측정과 판단없이 지속적인 제품 개발이 이루어졌다.
문제1. 문제 해결 여부를 판단할 수 없음
문제를 찾았으나 현 문제 asis와 tobe를 비교할 수 있는 기준이 모호해 판단을 할 수 없었다
문제2. 우선순위, 성공여부를 판단할 수 없음
목표를 설정했으나 구체적 성공기준 정하지 않아 판단의 기준이 없음
판단의 기준을 세우는 것
런칭단계에서 핵심은 적은 리소스로 시장과 고객에대한 최대한 많은 힌트를 얻어내는 것이다.아무 데이터가 없는 무의 상태에서 현재 알게된 고객 데이터에 의존해 다음 방향성을 세워야 하기 때문에 활성화 고객을 정의하고 , 어떤 기준으로 성공여부를 판단해야하는지 설정이 매우 중요했다.
성공했는지 실패했는지 알지 못하는것이 가장 문제가 된다 출시 후 반응에 대한 판단과 다음 방향성을 세우는 단계부터였다. 이제 막 시장에 내놓은 단계에서 가장 어려웠던 부분은 기준이 설정되지 않은 것이다. 출시 전 단계에서는 직접 유저를 만나고 관찰하는 것부터 시작한다.
문제와 목표는 반드시 정량화한다.
제품이 설정한 목표로 설정한 것 , 사용자 조사에서 발견한 문제는 정량적으로 정의가 필요하다
기준점을 설정하게 되면 문제 해결 , 목표 달성여부에 대한 판단이 가능하고
동일한 기준으로 여러 가설들에 대한 판단 ,비교가 가능해야한다
린 애널리틱스에서 에릭리스는 성공기준을 아직 정하지 않았다면 아무것도 만들어선 안된다고 한다. 판단 기준이 없다는 것은 목표나 문제로 잡은것이 없다는 말과 같다. 반대로 목표가 뚜렷하게 되면 이를 확인할 수있는 측정 기준 명확해지고 스펙이 명확해질 수 밖에 없다. 정량적 수치를 설정한다는 것은 해결되었을 때 개선할 수 있는 결과치가 무엇인지 정의하는 것이다.
제품의 목표, 팀의 목표는 고객 목표달성이 되어야하한다. 고객이 우리제품을 쓰게하는 것이 목표가 되는 초기단계에서는 출시단계에서는 고객 제품효용을 느끼는 지점을 찾는 연속이 되어야한다. 때문에 시장(초기고객집단) 을 찾는 단계에서 모든 판단은 2가지 기준으로 이루어져야한다.
1. 현시장에서 해결되지 않는 고객 문제가 해결되었는가
2. 그래서 제품을 사용을하는가
1. 솔루션을 찾는것만큼 중요한것 현상태를 정량화 시키는 것이다 .
정성적인 방법으로 문제를 찾을 때 놓치기 쉬운게 문제가 현 문제를 정량화 시키는 것이다. 출시된 서비스들은 데이터를 통해 문제를 찾아내기 때문에 asis 에대한 수치가 없는 것에 대한 문제를 인지하지 못했었다.
그러나 정성적 방법으로 문제를 찾아나가는 단계에서는 발견한 문제, 매출 증가, 운영손실이라는 문제를 정량적인 수치로 정의해두지 않았기 때문에 여러 솔루션 중에 가장 최적의 솔루션인지, 충분한 가치를 제공했는지 판단이 어려웠다.
현 문제가 해결되었다는 것을 어떤 행동으로 판단할 수 있는가
고객에게 제공할 수 있는 임팩트가 얼마인가 ,
고객에게 발생하는 문제가 이전 가설대비 얼만큼 개선되었는가
가시적이고 명확한 문제일수록 임팩트도 크고 고객이 느끼는 제품가치도크다
제품을 사용하는 것에 비용이 발생하는등의 행동으로 이어지는 것에 대한 허들이 높을 수록 고객이 얻는 효용과 효과가 가시적이고 ,체감할 수 있어야한다. 고객의 현 문제 상황을 표현할 수 없다는것은 고객이 느끼는 효과도 모호할 수 밖에 없다. 또한 정량적 정의가 불가능하다면 고객 입장에서 필요성을 느끼지 못할 가능성이 높았다 예를 들어 수기로 관리하는 문제로 발생하는 결과에 대해 설명이 어렵거나 수치로 정의하기 힘든 것들은 업주들 공감시키기도 어려웠고 결과적으로 실제 업주가얻게 되는 효과도 작았다.
때문에 정성적 방법으로 찾은 문제라고 하더라도 판단이 가능한 메트릭을 어떻게든 찾아내야 한다. 정성인터뷰와 서베이가 동시에 진행되어야하는 이유이다.
사장님들이 겪는 문제를 발견했다면 발생 비율 ,빈도 등 수치 데이터 확인이 함께 이루어져야 했다.
자금조달이 어려워 소액 대출을 받고 있는 매장은 얼마나 되고 . 사용빈도가 어떻게 되는가
서버 인건비로 발생하는 월 지출은 얼마인가 / 서버 1명이 관리하는 테이블 수 는 평균 몇개인가
2. 성공기준 세우기
고객의 가치인식 여부를 판단할 수 있는 지표 고객의 목표달성을 팀원들과 동일한 목표를 바라볼 수 있도록 도와주는 제품의 비전과 비전과 얼라인되는 구체적인 달성 기준을 정해야한다.
모호해지는 목표 뚜렷하게 만들기 ,북극성 지표
제품이 가야하는 궁극적 목표를 정량화하지 않으면 모호해질수밖에없다.
다양한 가설괴 실험을동일하게 판단할 수 있는 기준이 필요하다 즉 북극성 지표는 솔루션에 대한 판단을 동일하게 할 수 있는 기준이 되어야한다
1. 제품의가치를 인식했을 때 변화되는 행동 지표
2. 비즈니스 전환과 연결되는가
통제가능한 인풋 지표 설정하기
아마존의 제품 개발 방식에 대한 내용을 다룬 순서파괴 라는 책에서는 통제가능한 인풋지표에 집중하는 것이 효율을 높이는 최고의 방법이라고 말한다.
여기서 통제가능한 인풋지표는 최종적인 제품 성장 , 목표 달성을 위해 변화시켜야 하는 선행지표를 이야기한다. 효과 판단을 고객이 제품에 대한 가치를 인식했는지 , 만족도 여부를 확인할 수 있는 행동지표를 기준점으로 잡게되면 정량 수치로 결과를 알 수 있고 동일한 기준으로 여러 가설들을 비교할 수 있게된다
전환율이 아닌 활성화 기준으로 판단하기
제품의 고객을 찾아내는 PMF 단계에서 핵심은 제품이 고객에게 필요한 기능인지 판단하는 것이다. 얼마나 실제 제품의 필요성을 느끼고 기존 문제가 해결하느냐를 판단할 수 있는 행동지표를 정의해야한다. 때문에 기능별 임팩트 판단은 성공기준이 전환율이라는 후행지표보다 얼마나 그 기능을 사용하는지 활성화 기준으로 판단이 필요하다.
제품을 사용하는가 (필요성을 인식하는가)
문제가 해결되었을 때 고객은 어떤 행동을 하는가
가맹 신청율이 아닌 주문 입력율
제품의 가치 인식을 판단할 수 있는 지표는 가맹 신청 접수율(후행지표 ) 보다지불의사를 판단할 수 있는 가맹 신청 접수율 비용을 들여서라도 해결하고 싶은 문제 인지 판단이 필요했다
꾸준히 제품을 사용함을 나타내는 주문 입력율 꾸준히 제품을 사용함을 나타내는 활성화율이 단기적 전환율보다 보는게 더 신뢰성이 높았다. 주문입력이 활성화된 매장들은 당장 단말기 교체가 이루어지지 않아도 장기적으로 실제 가맹신청 접수로 이어졌다
주문입력율은 지속적으로 기능고도화를 진행하면서 각 개선별로 비교 판단이 가능한 기준치가 되었다
