ICE를 활용한 우선순위 관리
Itamar Gilad의 블로그 요약
Evidence Guided라는 책으로 주목받는 Itamar Gilad의 블로그 내용의 일부입니다. Evidence Guided는 Lenny's Podcast 출연 뒤에 아마존의 Product management 분야에서 2위로 올라와서 실리콘 밸리 PM들 사이에서 좋은 반응을 얻고 있는 것 같습니다. 완전히 새로운 개념의 책은 아니고, 기존 제품 개발 프레임웍을 다시 정리한 일종의 메타 프레임웍인 GIST(Goals-Ideas-Steps-Tests)라는 것을 기반으로 하고 있습니다. 프로덕트 매니저 뿐만 아니라 테크 산업에 종사하시는 분들께 추천드립니다.
---
제품 개발에서 가장 중요한 것은 우선순위 관리입니다. 어떤 아이디어를 선택하느냐에 따라 발생하는 비용은 상당할 수 있습니다.
- 개발 비용 + 배포 비용 + 유지 보수 비용 + 기회 비용 + 기타 잔여 비용
우리는 weak signals, 다수결, 상위 지위자의 의견(Hippo), 산업 트렌드 등을 기반으로 아이디어 실행에 대한 결정을 내립니다. 하지만 이러한 방식은 종종 동전을 룰렛 테이블에 놓는 것과 다를바 없어요. 여기서 Big Bet이란 용어가 나오게 된 이유입니다.
그래서 ICE 스코어링을 활용합니다. 이것은 잘 알려진 프레임워크로, Impact(영향), Confidence(신뢰도), Ease(용이성)를 고려합니다. Impact와 Ease만으로는 우선순위를 지정하기에 한계가 있고, 우리를 무감각하게 만들 수 있습니다. 그래서 Confidence가 이에 대한 솔루션입니다.
결국, bad product ideas에 투자하지 않기 위한 것인데요. 링크에서 소개하는 예시는 어떤 아이디어를 선택하느냐에 따라 발생하는 비용과 위험이 얼마나 큰지를 보여줍니다. 직관, 의견, 테마, 시장 트렌드에 의존하기보다는 검증하고 불확실성을 줄이는 것이 중요합니다.
제품 개발에서 테스트와 검증하는 것이 느려 보이지만 실제로는 리스크와 임팩트 측면에서 효율적입니다.
링크의 예시는 아래와 같은 방식으로 두 가지의 아이디어(챗봇, 대시보드 개발)를 검증합니다. 대부분 bad product idea는 챗봇과 같이 비용이 많이 들어가는 아이디어라는 점입니다. 앞서 언급드린 것처럼 제품 개발은 개발 비용, 배포 비용, 유지 보수 비용, 기회 비용 그리고 기타 잔여 비용이 모두 고려돼야 합니다.
[ICE를 통한 우선순위 관리 예시]
1. Prioritization round 1: First ICE
- Impact, Ease, Confidence를 1차로 스코어링
- 자기확신(Self conviction), Thematic support(업계가 좋다는 아이디어), 타인의 의견(관리자, 동료가 좋다는 아이디어)는 모두 Confidence 값이 10점 만점의 0.1점으로 0에 가까움. 이러한 의견(Opinion)은 아이디어를 테스트/제품 개발하는데 있어 신뢰할 시그널로 고려하지 않음
2. Prioritization round 2: Estimations and feasibility checks
- Engineering, UX 멤버와 같이 좀 더 정교하게 ease를 계산하여 ICE 스코어를 정교화함
3. Prioritization round 3: Market Data
- 서베이 통해 신규 아이디어 반응 확인
- Market data를 통해 confidenc score는 조금 상승하지만, 여전히 '매우' 낮은 지수임
4. Prioritization round 4: Customer Evidence
- 소수 고객(10명) 대상으로 프로토타입 활용한 user study 진행
- 전화 인터뷰도 병행(20명 대상)
- 기능이 유용한지? 열정적인지? 얼마나 자주 사용할지? 의도한 목표를 잘 이해하는지?
- 이 단계에서 좋은 반응이 나오면 confidence score가 올라가지만 10점 만점의 3점 수준.
- 여전히 high-risk/high-reward project
5. Final Prioritization Round And a Winner!
- MVP 개발 통한 검증하여 최종 출시할 기능 결정
- 예시는 챗봇 6주 개발, 대시보드 5주 개발하여 MVP 출시
- 활성 사용자수, 전화인터뷰를 통한 유저 인터뷰, 그리고 최종적으로 MVP가 아닌 프로덕션 버전 출시 위한 ease를 고려하여 대시보드를 상용 버전으로 개발하기로 결정함
