구글의 CPO가 알려주는 HOSKR 프레임워크
OKR은 틀렸다!
얼마 전 유튜브에서 Waze의 CPO인 Rapha Cohen의 강의를 들었습니다. Waze는 카풀이라는 방법으로 전 세계의 교통체증이라는 문제를 해결하려는 구글의 자회사입니다.
OKR이라는 개념은 이미 친숙하실 거라 생각합니다. 구글에서 사용하는 프레임워크라고 알려지며 유명해졌죠. 하지만 Rapha는 강의에서 OKR보다 더 정교한 프레임워크를 소개합니다. 이름하야
HOSKR
기존의 OKR 방법론에서 H(Hypothesis)와 S(Signals)가 포함된 개념인데요, Rapha의 강의를 정리하며 차차 소개해드리겠습니다.
*모든 이미지의 출처는 유튜브 채널 Product Faculty의 강의 영상(링크)입니다.
OKR이 가지는 맹점
Rapha는 그 전지전능한(것처럼 보이는) OKR에도 세 가지 맹점이 있다고 말합니다.
1. Key Result가 Objective를 달성하는 데 실질적으로 어떻게 도움이 되는지에 대한 연관성이 부족하다.
2. 설정한 Key Result와 내가 실제로 달성할 수 있는 역량과의 괴리가 있다.
3. 내가 세운 Objective가 정말 중요한(=임팩트 있는) 목표인지 알 수 없다.
Waze는 귀여운 캐릭터들을 갖고 있다Product Philosopher
Rapha는 대뜸 '철학'이라는 주제를 꺼내 드는데요. 철학은 세상을 바라보는 관점의 프레임워크(worldview as frameworks)를 제공하기 때문입니다.
철학은 이렇게 구조화된 관점(worldview, 핵심 키워드입니다)을 제공하는데, 이는 비단 철학에서뿐만 아니라 product development에도 필수적이라고 말합니다. 사용자와 프로덕트가 상호작용하는 방식 말이죠. 그리고 그러한 가설*을 만드는 데에는 두 가지 질문이 필요합니다.
*Rapha는 '관점'이라는 표현과 함께 맥락(context), 가설(hypothesis) 등의 단어를 사용합니다.
1. 사람들을 실제로 움직이게 만드는 것이 무엇인가? (What motivates people?)
2. 우리의 프로덕트로 인해 세상이 어떻게 바뀌는가? (What changes with your product?)
문제는, OKR에는 이러한 worldview, 즉 우리가 세상을 어떻게 바라보는가에 대한 관점이 빠져있다는 것입니다.
Bad PM, Good PM, Great PM
Rapha는 이어서 실력 없는 PM, 좋은 PM, 그리고 훌륭한 PM을 비교합니다.
먼저 실력 없는 PM은 목표를 달성하기 위해 기능(feature)에서 시작합니다. 즉, 사고의 출발점이 '결과'가 아니라 '기능'이라는 겁니다. 가령, 그들은 "이러한 기능이 있으면 사람들이 좋아하지 않을까?"라고 물으며 시작합니다.
반면 좋은 PM은 데이터와 목표를 먼저 생각합니다. 그래서 데이터를 기반으로 OKR을 세우고, 이에 따른 KPI를 설정한 뒤 실제 데이터를 보며 의사결정을 합니다. 합리적이죠.
하지만 훌륭한 PM, Rapha가 말하는 'Product Philosopher'는 한발 더 나아갑니다. 정말 훌륭한 PM은 위에서 말한 관점(worldview)을 갖추고 있습니다. 사람들이 행동하는 방식을 이해하고 있고, 우리의 프로덕트가 이들의 행동에 어떻게 영향을 미칠지 (가설적으로나마) 알고 있습니다. 사람과 프로덕트가 상호작용하는 방식, 그 맥락에 대한 이해를 가지고 있습니다. (You have your own understanding on the world.)
즉 좋은 PM과 훌륭한 PM의 차이는 사람, 프로덕트, 맥락에 대한 이해에서 출발하느냐 그렇지 않느냐에 있는 것이죠. 맥락! HOSKR 방법론을 관통하는 중요한 키워드입니다.
Worldview가 가진 함정
관점을 가지는 것은 당연히 좋지만, 여기에도 함정이 한 가지 있습니다. 바로 그 관점에 가려 진짜 현실을 보지 못하는 위험입니다. 내가 갖고 있는 관점이 가설이 아닌 고집/편견이 되어, 실제 현실을 내가 가진 관점에 욱여넣는 위험이죠. 그렇기 때문에 훌륭한 PM은 보다 유연한 관점을 지녀야 합니다. 앞으로 여러 실험을 거쳐 도출되는 데이터를 보고 유연하게 변형될 수 있어야 합니다.
관점을 갖는 것에 이러한 위험이 있음에도 불구하고, Rapha는 훌륭한 PM이 되기 위해서는 자신만의 관점이 반드시 필요하다고 말합니다. 그러면서 이러한 얘기를 하는데요.
PM들 사이에서 하는 말 중에 데이터 중심적 사고의 중요성을 역설하는 문장이 있다고 해요.
"Without data, you're just another person with an opinion."
(데이터를 볼 줄 모른다면 너는 그저 의견만 갖고 있는 또 다른 사람에 불과하다.)
하지만 Rapha는 그 반대 역시 마찬가지라고 말합니다.
"Without an opinion, you're just another person with data"
(아무런 의견도 갖고 있지 않다면 너는 그냥 데이터만 가진 또 다른 사람일 뿐이다.)
구글의 GSM 프레임워크
이 글의 주제는 HOSKR 프레임워크인데 서두가 너무 길어졌네요. 하지만 본격적으로 넘어가기 전에 또 한 가지 짚고 넘어가야 할 것이 있습니다. 바로 구글에서 자주 사용하는 프레임워크 중 하나인 GSM 프레임워크인데요, 아래와 같습니다. (읽으며 순서를 유의해주세요!)
Signal이 강조된 이유는 뭘까요1. Goals : OKR의 Objective와 같습니다. 사용자가 궁극적으로 우리의 프로덕트를 어떻게 사용하길 바라는지에 대한 목표입니다.
3. Metrics : 우리가 Goal을 달성하기 위해서 초점을 맞출 데이터를 뜻합니다.
그렇다면 이 지표들은 어떻게 정할까요? 케바케이겠지만, Rapha는 다음 다섯 가지 키워드를 소개합니다 :
Happiness, Engagement, Adoption, Retention, Task Success (앞글자를 따면 HEART라는 아름다운 단어가 나오는 기가 막힌 우연까지..!)
2. Signals : 우리의 Goal이 달성되었다는 것을 보여주는 사용자의 행동(신호)입니다.
단, Signal은 정량적일 필요는 없습니다. 그보다는 하나의 스토리와 같은 형태를 띠는 것이 좋습니다. 우리의 프로덕트를 사용하고 사용자는 어떻게 변했는가? 그들은 어떻게 행동하는가? 어떤 임팩트가 생겼는가?와 같이 사용자의 행동에 대한 전반적인 내용입니다.
이러한 정성적인 신호가 명확해졌다면, 이를 정량적인 수치 즉 3번 Metrics로 바꾸는 건 꽤나 쉬운 작업(pretty straightforward)이 될 것이라고 말합니다.
HOSKR 프레임워크
드디어 도착했습니다. 왜 이렇게 서두가 길었냐 하면, HOSKR이라는 것이 OKR에 GSM을 합쳐서 OKR의 단점을 보완한 프레임워크이기 때문입니다.
[허스커-R]이라고 발음하던데하나씩 설명해보죠.
1. Hypothesis
HOSKR 프레임워크에서 가장 중요한 부분입니다. 위에서 언급드린 관점(worldview)에 해당하죠. Hypothesis는 프로덕트의 정성적인 성장 모델(qualitative growth model)로 표현됩니다. KPI Graph라고도 불리는 이 모델은 간단히 말해서 사용자의 액션과 프로덕트의 가치 제안(value proposition)들이 서로 어떻게 연결되고 영향을 주고받는지, 또 이를 통해 서로 다른 KPI들이 서로 어떻게 영향을 주고받는지 나타낸 모델입니다.
가령 Waze의 KPI Graph를 매우 단순화하여 표현하면 아래와 같습니다. 즉, 이 그림이 Waze에서 차량, 사용자, 도로, 그리고 프로덕트가 서로에게 영향을 주는 방식인 거죠. Rapha는 이게 바로 Waze에서 세상을 바라보는 관점이라고 얘기합니다(This is how we see the world).
물론, 이 KPI Graph는 계속해서 변할 수 있습니다. 여러 실험을 반복하고 도출되는 데이터들을 보며 바뀔 수 있습니다. 함정에 빠지지 않기 위해서 말이죠!
서로 어떻게 영향을 주고받는가2. Objective
자 이제 Hypothesis가 정립되었습니다. 이제 정성적인 Objective를 세울 차례죠.
여기서는, 우리가 세운 가설이 맞았을 때의 세계와 맞지 않았을 때의 세계를 상상해야 합니다. 둘은 서로 어떻게 다를까요? 각 세계에서 KPI는 어떻게 달라질까요? 위에서 언급드린 HEART의 지표들은 서로 어떻게 다른가요? 이렇게 두 세계를 비교하면서 Objective를 세웁니다.
3. Signal
위에서 언급드린 GSM 프레임워크의 Signal과 동일합니다. 1번에서 우리가 세운 Hypothesis가 맞는지, 맞다면 얼마나 맞는지, 혹은 틀렸다면 어떤 부분이 틀렸는지에 대한 신호를 포착해내는 것입니다. 그리고 이 기준은 사용자의 실제 행동에서 비롯되어야겠죠.
4. Key Results
OKR의 Key Results와 동일합니다. 단, 조금 다른 점은 "우리가 가진 worldview가 맞았을 때 어떤 Key Result가 생기는가?"라는 질문으로 접근해야 한다는 것입니다.
자 이제, 이 일련의 과정을 거친 뒤 우리의 가설이 옳았던 것으로 판명되었다고 해봅시다. 어떤 지표가 x% 개선되고, 이 개선이 비즈니스 지표의 y% 개선으로 이어지고, ...
당연히, 우리가 할 일은 이런 것들을 보며 계속해서 개선하고 계속해서 반복하는 것입니다. 아래 둘 중 하나가 일어나기 전까지요!
1. 우리가 상상하는 세상이 현실이 되었을 때 (Now you're happy, and you strengthen your worldview)
: 이 경우, 이 현실을 토대로 더 발전된 가설을 수립합니다.
2. 우리가 세운 가설이 틀렸다는 것이 판명되었을 때 (You're disappointed, but you learn something new)
: 이 경우. 이 과정에서 배운 것들을 토대로 가설을 다시 세웁니다.
둘 중 어느 것을 택해도 나의 worldview는 발전되어 있을 것이라고 Rapha는 얘기합니다.
결론입니다.
그래서 HOSKR와 OKR의 결정적인 차이점은 무엇이냐. HOSKR은 OKR과 다르게 세상에 대한 관점을 세운 채 시작합니다. 단순히 데이터만을 보고 그걸 토대로 목표를 세우지 않습니다. 훌륭한 PM은 사람(사용자), 이들의 행동, 그리고 이 세상(the universe)에 대한 관점과 이해에서부터 시작합니다. 맥락을 이해합니다. 데이터를 보되, 내가 가진 worldview, context, opinion, hypothesis에서 시작합니다. 내가 보는 데이터가 진짜 어떤 의미를 갖고 있는지를 알아야 합니다. 훌륭한 PM을 Product Philosopher라고 부르는 이유입니다.
그래서 Rapha는 강의를 끝맺으며 이런 말을 합니다.
통계, 공학, UX, 디자인, 재무와 같은 분야에 전문가가 되는 것은 분명 좋습니다. 하지만 (사용자를 이해하고) 당신만의 관점을 세우기 위해 사회, 역사, 철학 역시 매우 중요합니다.
...라며 글을 이만 마치고 싶지만, 솔직히 이런 이론적인 내용만 읽고 끝내는 건 수박 겉핥기에 불과하다고 생각합니다. 그래서 이해를 조금이라도 도와드리기 위해 Rapha가 소개한 Waze의 사례를 덧붙입니다. 간단한 사례입니다. 거의 다 왔어요!
다시 말씀드리자면, Waze는 카풀이라는 방법으로 교통체증을 해소하고자 하는 기업니다. 그러한 미션을 가진 Waze가 어느 날 "65%의 사용자들이 이전에 매칭된 드라이버의 서비스를 재이용한다"는 데이터를 봤다고 합시다.
OKR식 접근법
이 데이터만 봤을 때, Objective는 무엇이 되어야 할까요?
먼저 이런 생각을 할 겁니다. "아, 사용자들이 이전에 매칭된 드라이버의 서비스를 다시 이용하고 싶어 하는구나!" 그렇기 때문에 Objective는
이전에 매칭된 드라이버와의 재매칭을 더 쉽게 만드는 것
이 될 것이라고 Rapha는 얘기합니다. 합리적으로 보입니다. 그렇다면 Key Result는 실제로 이전에 매칭된 드라이버와의 재매칭율이 x% 이상 높아지는 것이 되겠죠.
그렇다면 이 KR을 달성하기 위해 어떤 것들을 할 수 있을까요. 가령 'Favorite Driver' 기능을 생각해볼 수 있겠습니다. 오늘 매칭된 드라이버가 만족스러웠다면, 이 사람을 저장해 두고 다음에도 또 호출할 수 있도록 하는 것이죠. 효과적인 방법일 것 같네요.
하지만 Rapha는 사실 이것이 틀린 방법이라고 말합니다.
HOSKR식 접근법
위에서 세운 OKR에 대해 생각하기 전에, 먼저 Waze에서 사용자, 프로덕트, 카풀이라는 행위 등을 바라보는 관점이 있습니다.
Waze의 worldviewPM으로서, 사용자 입장에서 가장 중요한 건 예측 가능성(predictability)이라는 걸 이해하고 있습니다. 즉, 사용자들이 카풀을 이용함에 있어서 가진 가장 큰 심리적 허들 중 하나는, 바로 내가 이 차를 호출했을 때 (중간에 취소되지 않고) 실제로 제시간에 올 것이냐에 대한 불확실성임을 알고 있습니다. 카풀은 특히나 시간이 빡빡한 출퇴근 시간에 주로 이용하기 때문이죠.
그렇기 때문에 Waze의 PM은 동일한 데이터-65%의 사용자들이 이전에 매칭된 드라이버의 서비스를 재이용한다-를 보고 다른 조치를 취합니다. 위 worldview를 통해 봤을 때, 사람들이 지난번에 매칭된 드라이버를 다시 찾는 이유는 다른 드라이버에 대한 신뢰(확실성)가 부족하기 때문이라고 해석합니다.
즉, 지난번에 매칭된 드라이버와 재매칭되는 것이 가장 좋은 경험(best experience)이기 때문이 아니라, 다른 드라이버를 호출할 때의 불확실성이 크기 때문입니다. 그렇기 때문에 목표는 불확실성에 대한 사용자들의 걱정을 줄여주는 것이 될 테고, 이러한 Hypothesis를 세울 것입니다.
만약 드라이버들이 사용자들의 호출을 pre-approve할 수 있다면, 사용자 입장에서 불확실성이 해소될 것이다.
(여기서 pre-approve는 아마 자동배차와 비슷한 기능인 것 같습니다. 드라이버에게는 돈을 조금 더 주고, 사용자가 호출하면 즉시 배차가 되는 방식인 거죠.)
두둥탁그렇다면 Obejctive는 무엇일까요? Rapha는 세 가지 관점에서의 Objective를 소개합니다.
1. 드라이버 : Pre-approve 기능을 통해 더 큰 수익을 올린다.
2. 사용자 : 불확실성이 제거된 채 편안하게 서비스를 사용한다.
3. 비즈니스 : 사용자들의 willingness-to-pay를 높여 unit economics를 개선한다.
HOSKR의 Objective이제 Signal입니다. 꽤나 명백합니다. Waze의 가설이 맞았다면, pre-approve 기능을 사용하는 사용자들이 늘어나는 것이겠죠.
(만약 가설이 틀렸다면, 즉 이전에 매칭된 드라이버의 서비스를 재이용하는 이유가 불확실성 때문이 아닌 다른 것이라면, pre-approve 기능을 그다지 좋아하지 않는다는 신호가 나타날 것입니다.)
Key Result 역시 당연히 "pre-approve 사용률 x% 이상 달성"이 될 것입니다.
이 두 방법은 단순히 서로 다른 접근이 아니라, 근본적으로 옳고 그름의 문제입니다. 왜냐하면, OKR 접근에서의 성공 지표인 Objective가 HOSKR 접근에서는 실패의 신호이기 때문입니다. 즉 OKR로 접근하여 열심히 지표를 개선해 이전 드라이버와의 재매칭이 늘어난다면 HOSKR을 통해 정의한 진짜 문제(불확실성)가 전혀 해소되지 않은 것이겠죠.
헐즉, 내가 본 데이터를 보고 "아, 사람들이 이걸 좋아하니 이걸 더 많이 사용하게 만들어야겠다"가 될 수도 있지만, 반대로 "사람들이 이걸 좋아하는 이유는 우리 서비스에 어떤 문제점이 있기 때문일 거야"로 바라볼 수도 있는 겁니다. 서로 정반대의 접근이 되는 것이고, 정반대의 결과를 가져오겠죠. 그리고 이게 바로 맥락과 사용자에 대한 이해가 필수적인 이유입니다. Rapha는 이러한 잘못된 해석과 접근이 비즈니스의 존폐 자체를 결정지을 수 있을만큼 중요하다고 말합니다(could literally kill your business).
이상 Waze의 사례를 통해 더 깊이 살펴본 HOSKR 프레임워크였습니다.
덕분에 안 그래도 긴 글이 더 길어졌지만, 덧붙인 사례가 이해에 도움이 되었기를 바라며 글을 마칩니다.
*제가 미흡하게 이해한 부분이 있을 수 있으니, Rapha Cohen의 강의를 직접 들어보는 것을 강력히 추천드립니다.
**강의를 들으니 옛날에 읽었던 책 한 권이 문득 떠올랐습니다..!
