ICE 프레임워크: 빠른 실험을 돌리는 방법
“일주일에 몇 개의 실험을 돌리시나요?”
요즘 벤처 투자 심사를 받다 보면 자주 듣는 질문이라고 한다. 자신의 돈을 실제로 투입하는 벤처 투자자들이 ‘실험 주기'를 핵심 질문으로 보고 있다는 것은 큰 의미를 지닌다. 나름 이 분야의 전무가들이 실험을 빨리 그리고 많이 돌리는 것을 흥행과 직결된다고 생각하고 있다는 것이다.
전 세계 97개국 1위 알람 앱, 알라미는 실험을 빨리 돌리기 위해서 ICE Framework를 사용하고 있다. ICE Framework는 그로스 해킹의 아버지, 그리고 드롭박스의 그로스 해킹으로 유명한 Sean Ellis가 사용하는 의사 결정 Framework이다. ICE의 I는 Impact, C는 Confidence, E는 Ease를 뜻한다. 각 요소에 해당하는 핵심 질문을 Sean은 아래와 같이 설명하고 있다.
- Impact는 “이 실험이 얼마나 영향력 있을까?” 즉 회사의 핵심 KPI에 얼마나 많은 영향을 미칠지를 측정하는 요소이다.
- Confidence는 “이 실험이 성공할 확신을 얼마나 가지고 있는가?”
- Ease는 “이 실험을 론칭하는데 시간이 얼마나 걸리는가?”
일반적으로 Impact와 Confidence는 어떤 팀이던지 고려할 것이다. 하지만 ICE Framework가 좋은 것은 실험을 돌리기 위해 필요한 시간도 평가한다는 점이다. 즉, ICE는 회사의 실험 주기를 빠르게 높여서 보다 더 많은 가설들을 증명하여 더 많은 레슨들을 배울 수 있도록 한다.
Why Ease?
Ease를 고려하지 않을 경우 우리의 가설은 효율 중심으로 만들어진다. User Tutorial이나, 앱 전체의 디자인 변화, 혹은 매우 새로운 신기능 등을 생각하게 된다. 가장 Impact가 강할 것이라고 생각하기 때문이다. 하지만 User Tutorial만 제대로 만드려고 해도 개발 능력이 좋은 스타트업도 1달 이상은 걸릴 것이다. Ease를 고려하지 않으면 이 일을 우선적으로 진행했을 것이다. 반면 Ease를 고려한다면 시간이 오래 걸리는 일에는 낮은 점수를 받을 수밖에 없다. ICE를 통해 최근 딜라이트룸에서 성공한 실험들은 간단한 것들이다. Firebase에서 자체적으로 예측된 이탈 유저들에게 다양한 푸시 메시지를 보낸다던지, 혹은 특정 버튼을 더 크게 만들어서 클릭을 유도하는 간단하고 자짤한(?) 실험들이다.
하지만 이런 간단한 실험들이 중요한 것은, 팀원들에게 실험의 재미를 알려주기 때문이다. 작은 성공을 통해서 자신감도 올라간다. 특히 1달 동안 개발한 User Tutorial이 실패했을 경우 배우는 레슨이 분명 있지만 그래도 우리는 인간이기 때문에 기분이 썩 그렇게 좋지는 않다. 반면 이런 간단한 실험을 실패해도 좌절감 없이 빠르게 배울 수 있다. 한 예로 DS School에서 그로스 수업을 하는 정성영님은 Call To Action 버튼을 파란색에서 핫핑크로 바꿔 전환율 20% 이상 상승했다고 자랑하고 다니기로 유명하다.
ICE Framework, 딜라이트룸에서는 어떻게 사용하고 있는가?
알람미는 ICE를 통해서 대부분의 실험들을 진행하고 있다. 우리가 ICE를 사용하는 방식을 설명하면 ICE를 사용하는 데에 도움이 될 것이다.
Coda를 사용해서 작성 중인 자사 ICE List1. 우리는 매 분기별 Impact 지표에 해당되는 KPI를 전체 구성원이 같이 정하는 워크샵을 진행한다.
2. 유저 피드백 Backlog와 각 멤버들이 이번 분기에 실험하고 싶은 아이디를 다 같이 모은다.
3. 각 아이디어별 ICE 점수를 다 같이 준다. 각 요소별 10점 만점이고, 총 합점이 ICE점수가 된다. 각 요소별 점수에 대해서는 충분히 토론할 수 있고, 논란이 있을 경우 PM 이 중재하고 최종 권한을 가지게 된다.
4. 점수 높은 아이디어 순위대로 이번 분기에 일을 처리한다.
5. 더 좋은 아이디어는 언제든지 추가될 수 있고, ICE 점수별로 전체 리스트에 반영된다.
ICE Framework의 장점: 수평적/수직적 조직의 문제점을 해결하다.
사실 이것을 이야기하고 싶었다. 보통 회사에서 어떤 일을 할지 어떻게 정하는가? 수평적인 회사에서는 개인이 선택하고, 수직적인 회사에서는 대표가 선택할 것이다. 이의 문제점은 명백하다. 수평적인 회사는 개인이 하고 싶은 일을 선택하거나 가장 효율적인 일을 선택 안 할 가능성이 있다. 수직적인 회사에서는 팀원들의 동기부여가 저하된다. 그리고 수평적인 회사와 수직적인 회사 둘 다 그 일의 Ease를 고려하지 않기 때문에, 성장이 더딜 수밖에 없다.
반면 항상 ICE를 의논하고, 논의하고, 누구든지 새로운 아이디어를 추구하는 것은, 기존의 수평적/수직적 조직들의 단점을 모두 극복하고, 팀원들을 동기 부여하는 효과를 가져온다. 대표의 아이디어도 인턴의 아이디어도 동일한 ICE 기준으로 팀이 평가하게 된다. 그 결과 팀의 소중한 시간을 더 효율적으로 할애하고, 더 많은 실험을 돌려서, 더 많이 배우는 팀이 되는 것이다.
We’re Hiring
우리는 최근 국내 최고 IT 기업의 시니어 개발자가 1주일 동안 우리와 함께 일해본 후 합류하기로 결정되었다. 그에게 왜 딜라이트룸으로 오기로 결정했는지 물었을 때 대답은 간단했다.
제품에 대해 고민하고, 아이디어를 내고, 그 아이디어를 객관적으로 평가하고 실험하는 것을 반복하는 모습이 인상적이었다. 단순히 기획자가 준 가이드라인대로 코딩하는 것이 아니라 큰 그림과 시장에 대한 감각을 키울 수 있는 기회라고 생각이 들었다.
우리는 항상 뛰어난 인재와 함께 일하고 싶다. 영업 이익률이 60% 넘기 때문에 연봉과 상관없이 우리와 함께 하고 싶다면 아래 링크를 확인해주면 고맙겠다.
