by
May 16. 2024
신입PM 포트폴리오 리뷰(2) : 결과 분석의 중요성
면접관은 당신의 멋진 성과를 믿지 않는다. 그게 중요치도 않고
알 것 같지만 사실 모르는 가설-검증
PM으로의 취업을 희망하는 부트캠프 수강생 또는 기타 취준생 분들의 포트폴리오를 리뷰하다 보면 몇 가지 자주 등장하는 아쉬운 부분이 있다. 하나는 가설을 검증하기 위한 지표의 정의 및 선정이고, 다른 하나는 프로젝트의 결과물에 대한 분석이다.
PM 관련 콘텐츠 또는 채용공고를 보다 보면 '가설검증'이라는 용어를 쉽게, 그리고 자주 발견할 수 있다. 일상에서 자주 쓰는 어휘는 아닐지라도 원론적으로야 이게 무슨 뜻인지 모르는 이는 없는데, 멘토링 또는 피드백 형태로 취준생들의 실제 프로젝트 진행 과정과 포트폴리오를 보면 가설을 검증한다는 것을 깊이 이해하고 있는 경우는 드물다는 걸 깨닫는다.
고객도, 문제도, 해결책도, 지표도 가설이다
가설검증에 대한 콘텐츠는 많다. 통계와 논문 작성, 과학 연구 관련 콘텐츠가 대부분이지만, 기획자 또는 창업가의 주요한 사고방식으로서의 가설 검증에 대한 이야기도 찾아볼 수 있다. 통계냐 논문이냐, 기획이냐에 따라 세부 이야기는 다르지만 핵심은 동일하다. 추측을 해보고, 이를 구체적으로 정의하고, 이를 확인할 수단을 마련하여, 실제 결과를 확인하는 것. 얼핏 보기엔 어려울 것이 없다.
그럼 대체 가설이란 어디까지가 가설인가? 제품/서비스를 기획하는 입장에선 관련된 모든 것이 가설이다. 이런 고객이 시장에 존재할 것이라는 기대나 추측 역시 가설이고, 그 고객의 문제가 이러한 것일 거라는 추측 역시 가설이고, 그 문제를 이러한 방법으로 해결할 수 있을 거라는 기대 역시 가설이며, 문제가 해결되었음을 이러한 지표로 확인할 수 있을 거라는 추측 역시 가설이다.
예컨대 취준생이 들을 줄로 알았던 강의의 수가생 중 대부분은 신입 또는 저연차 직장인일 수도 있고, 기획자 또는 PM으로의 취업을 위해 수강하는 이들이 대부분일 줄 알았으나 이미 디자인 또는 분석 등의 실무를 하면서 PM으로 영향력을 넓히거나 직무를 전환하기 위해 수강할 수도 있다. VOD 강의로 설명이 모두 가능할 줄 알았으나 현장에서의 강의 혹은 실시간 멘토링과 과제 피드백이 필요할 수도 있고, 만족도만으로 수업의 품질과 문제 해결 정도를 측정할 수 있을 줄 알았으나 수강 전/후의 수준을 비교하는 지표가 더 적합할 수도 있다.
세상에 100%란 없고, 해봐야만 아는 것들이 대부분이며, 그래서 결과는 내 기대와 매번 다르다. 종류가 다르든, 수준이 다르든, 범위나 형태가 다르든. 이는 단순히 해결방안에만 국한되지 않는다. 고객도, 고객의 문제도, 해결방안도, 지표도 모두 가설의 대상이고, 검증의 대상이며, 기획 당시의 기대와는 다르다.
왜 회고인가? 왜 결과 분석인가?
처음 목표보다 2배 이상 높은 성과를 달성했는데, 비결이 뭐였죠?
모든 게 가설이며 그러므로 기대와 다르다는 관점에서 포트폴리오를 돌이켜보자. 고객의 문제를 발굴하여 정의한 뒤 만든 MVP가 문제 해결에 유효하며 그러므로 가치를 제공했다는 것을 증명하기 위한 지표로 상세페이지에서 CTA 버튼으로의 전환율(또는 클릭률)을 정의했다고 하자. (이 지표가 적합하느냐는 논의는 잠시 미뤄두자) 그리고 MVP의 전환율이 10%인데 시장 평균 전환율이 5% 임을 감안했을 때에, 시장 평균 대비 2배 이상 높으므로 본 프로젝트는 성공했다느 결론을 내렸다. 혹은 목표치가 8%였는데 12%로 목표 대비 1.5배 수준의 결과를 달성했다고 하자.
이를 본 사수, 멘토, 혹은 면접관은 궁금하다. "세상에! 업계 평균 2배를 만들 수 있는 지원자라니! 비결이 뭐지? 나도 못 그러는데..." 그리고는 묻는다. "목표(또는 업계 평균 대비) 훨씬 높은 성과를 달성했는데, 비결이 뭐였죠?" 그러나 이 질문에 답한 수료생 또는 취준생은 아무도 없었다. 목표를 달성했으니 잘한 것 아니냐는 의기양양한 포트폴리오 너머에는, 어떤 수준 혹은 형태로든 처음의 기대와 다른 현실, 즉 가설과 다른 결과에 대한 고민이 단 한 조각도 담겨있지 않았다.
경력직이 아닌 이상 프로젝트의 성공 여부는 중요치 않다. 현업의 실무자 역시 매번 성공하는 게 아니다. 대부분의 실험은 기대보다 저조하거나 오히려 원안보다도 못 미치기도 하다. 창업가들조차 역시 자신의 수많은 실패담을 토로한다. 실패는 기본값이고, 그러므로 성공 여부는, 특히 신입 또는 주니어에겐 중요치 않다.
중요한 건 그 결과를 통해 무엇을 도출해 내었는가, 그리고 이를 토대로 어떤 걸 검증해 냈고 무엇을 다시 검증해야 하는지를 구분할 수 있는가, 하는 가설-검증식 사고와 회고를 통한 개선의 자세, 그리고 결과를 깊게 들여다보려는 호기심 내지는 책임감이다.
1. 결과를 통해 어떤 의미를 도출해 낼 수 있는가?
2. 가설-검증식 사고를 정말로 이해하는가?
3. 회고를 통해 더 잘하려는 자세가 있는가?
4. 결과를 표면 너머 깊게 들여다보려는 호기심 내지는 책임감이 있는가?
애당초 실력이란 한두 번의 높은 성과로 검증되지 않는다. 토스의 이승건 대표 역시 창업에 관한 어느 발표에서 고백했다. 성공은 대부분이 운에 달려있다고. 실력이란 일정 수준의 결과물을 반복적으로, 이번뿐만이 아니라 다음에도 만들어 낼 수 있는 본인만의 노하우 또는 프레임워크다. '프로젝트를 기획할 때에 8%를 목표로 했는데 12%가 나왔다'라고 해서 실력을 드러내는 게 아니라는 뜻이다. (그게 그래서 나쁘다거나 못했다는 뜻은 아니다!)
결과에서 무엇을 들여다봐야 하는가? 무얼 도출해야 하는가?
그럼 결과에서 들여다봐야 할 것은 무엇인가? 무얼 도출해야 하는가? 앞서 이야기했듯, 고객과 고객의 문제, 해결책, 지표 역시 모든 게 가설이다. 그러므로 최소한 아래의 내용을 고민해 보고 다시 나름의 가설 혹은 이후의 실행안을 도출해 낼 수 있어야 한다.
1. 제품의 고객(또는 핵심 사용자)은 기대한 고객 페르소나와 동일한가? 다르다면 어떤 이들이 실제 고객인가?
2. 제품의 실제 고객이 경험하는 문제는 기획 당시 참고한 고객들이 이야기한 문제와 동일한가? 다르다면 무엇이 어떻게 다른가?
3. 고객의 유형 혹은 그들이 경험하는 문제가 기대와 다르다면, 제품은 어떻게 되어야 하는가? 누구에게 무엇을 팔아야 하는가? 이를 더 잘 팔아보기 위해 어디에 무엇이라고 홍보해야 하는가?
4. 제품은 실제로 문제를 해결하였는가? 내가 정의하여 수집한 지표로 이를 정말로 증명할 수 있는가? 아니라면 어떤 지표를 수집하거나 무엇을 물어봐야 이를 더 정확하게 파악할 수 있는가?
5. 문제가 해결되지 않았다면, 무엇이 원인인가? 다음에는 무엇을 다르게 해 보거나 개선해 볼 것인가?
바꿔 말해 이러한 고민이 없다면 결과를 초과 달성해도 무의미하며(실력도 태도도 없으므로), 이러한 고민이 있다면 목표 결과를 달성하지 못해도 오히려 실력과 태도의 잠재력을 보여줄 수 있다. 이러한 고민의 흔적이 곧 가설-검증식 사고에 대한 이해를 드러내고, 고객과 제품에 대한 긍정적인 집착, 열정을 드러내며, 회고와 개선을 통해 더 나아지려는 태도를 보여주니까.
면접관은 당신의 성과를 믿지 않는다. 그게 중요치도 않고.
대부분의 결과는 혼자만의 노력의 결과도 아니고, 운의 영역이기도 하다. 현직자에게도 어려운 것을 신입 지원자가 달성했다고 주장한다한들, 면접관은 믿지 않는다. 그럴 수 없다는 걸 알고 있고, 그게 중요치도 않으니까. 다만 그 과정 속에 담긴 사고의 흐름, 태도와 의사결정을 통해 열정과 의지, 잠재력을 볼 뿐이다. 아무리 신입에게 모든 것을 요구한다는 세상에서도, 신입에게 현직자만큼의 성과를 기대하는 건 어불성설이니까. 실력이 있어도 태도가 없다면 멀리 못 갈 걸 알고 있으니까.
그러므로 멋진 성과를 드러내기보단, 멋지든 초라하든 그 성과를 토대로 회고하고 다시 분석한 흔적을 담거나 최소한 면접용으로라도 준비해 보자.
‘왜’ 그 일이 벌어졌는지가 어째서 중요할까. 왜 성공했고, 왜 실패했는지 모르면 과거의 성공을 현재로 이어갈 수도, 과거의 실패에서 벗어날 수도 없기 때문이다.” - [씩 데이터 Thick Data] 중에서
