MaxDiff 활용으로 다음 릴리즈 준비하기
MVP로 시장에서 프로덕트를 성공하는 것은 쉬운 일이 아니다. 만약 그 고난과 역경을 뚫어내고 드디어 의미있는 지표가 만들어지기 시작하면 그 다음은 무엇을 해야할까?
프로덕트/회사의 방향성에 따른 다양한 경로가 있겠으나, 얼리 스테이지에서 가장 많이 취하는 방식은 '기능의 추가'일 것이다. 기능이 추가되면 사용편의성도 오르고 프로덕트 유용성도 올라가 타겟 사용자도 넓힐 수 있다. 그럼 어떤 기능을 추가할 것인가? PO/PM이 주장한 기능? CS가 많이 들어오는 기능?
한 발만 잘 못 디뎌도 출렁이는 지표에 결정을 내리기 쉽지 않다. 어떻게 만든 숫자인데, MVP 단계에서는 존재하지 않았던 '잃을게 생겼다는 두려움'도 생겼다. 아직 부족한 기능도 많은데 그 많은 것들 중, 지금 이것에 리소스를 붓는 것이 맞나 싶은 생각도 든다. 이런 상황을 도와줄 수 있는 리서치는 무엇이 있을까?
흔히 A,B,C,D라는 기능 중 어느 것이 더 중요한 것인지 우선순위를 판단하기 위해 구성할 수 있는 설문지를 아래와 같이 구성하기도 한다.
1) A~D 항목의 중요도를 리커트 척도(중요하지 않음~중요함)로 응답하게 한다.
2) A~D 의 중요도를 순서로 표시하게한다. (Ranking)
그러나 1번 방식은 '우선순위'를 측정함에 있어 개별 항목이 독립적으로 측정되기에 상대적인 평가가 어렵다. 기능 A와 기능 B가 각각 4.0이라는 숫자를 기록하면 두 개 중에 무엇이 우위인지 평가하기 어렵다. (그럴 가능성도 높다.) 2번 방식으로는 많은 수의 기능을 한 번에 응답받기 쉽지 않다. 20개의 기능이 있다고 가정해보라. 응답자는 17번째 항목과 18번째 항목이 얼마나 우선순위에서 차이가 있는지 설명하지 못할 것이다.
MaxDiff의 기본 아이디어는 하나의 세트로 구성된 기능들 중에 Best - Worst를 꼽는 방식이다.
가령 A를 Best, D를 Worst로 꼽았다면, A>(B,C)>D 관계가 성립하고 이것을 여러번 반복하면 많은 기능 중가장 중요한 것부터 덜 중요한 것까지 순위를 매길 수 있게 되는 것.
어떻게 해석해야하는가?
Best Score와 Worst Score를 각각 계산한다. 아래의 그래프는 예시.
하나의 세트에 몇개의 아이템을 보여줘야 하나?
4~5개 정도가 적당. 세트 아이템을 적게하고 전체 세트 수를 늘리는게 좋다고 한다.
한 응답자에 몇개의 세트가 노출되는 것이 적당한가?
다다익선이긴 하지만 보통 20개까지 괜찮다고 한다.
관련 참조 링크
https://hbr.org/2009/04/what-do-customers-really-want
https://content.sawtoothsoftware.com/assets/cb58ce5e-9d49-4d3c-b066-24bb735ad26d
https://blog.naver.com/shchoiher/220538262224
프로덕트 빌드 방법론에서 데이터 드리븐이 대세가 된 후로 '프로덕트는 가설의 집합'이라는 말이 많이 회자되지만 사실 가설은 검증하는것 보다 올바른 가설을 세우는 것이 더 중요하다. 새로운 기능 개발은 '합의'가 아니다.
서베이에 늘 동의함~동의하지 않음이나 NPS만 써왔다면 새로운 설문 방법에도 도전해보는게 어떠신지.. :)