PM이 봐야 하는 좋은 지표란?
[린 분석 스터디] 어떤 목적으로 다양한 지표를 활용할 수 있을까
좋은 프로덕트를 만들기 위해서는 데이터를 봐야 한다. 감에 의존하는 것이 아니라 객관적이고 믿을 수 있는 의사결정을 하기 위해서는 프로덕트를 이용하는 사용자를 이해하고, 어떤 행동 패턴에 주목해야 하는지를 정하고, 유의미한 의사결정을 위해 데이터를 어떤 식으로 활용해야 할지를 알아야 한다. 즉, 데이터를 '잘'봐야 한다.
최근에 회사에서 PM 분들끼리 '린 분석'이라는 책을 읽고 각자의 프로덕트에 데이터를 어떤 식으로 활용할 수 있을지에 대해서나, 유의미한 데이터를 보는 방법에 대해 공유하는 스터디를 시작했다. PM으로 일을 하면서 데이터가 중요하다는 생각은 했으나, 사실 어떤 데이터를 어떤 방법으로 봐야 유의미할지에 대해서는 정리가 필요하다는 생각을 하고 있었다. 프로덕트에 대해서 어느 정도 이해했다면, 프로덕트를 발전시키기 위해서 어떤 액션을 취하면 좋을지에 대해서 알아가고 있는 요즘이다.
그래서 책의 내용과 1, 2차 스터디 내용을 종합하여 5가지 러닝 커브를 얻게 되었다. 이와 관련해서 지표를 어떻게 잘 보고, 잘 활용할 수 있는지에 대해 정리했다.
러닝 커브 1:
좋은 지표란 무엇일까
(1) 비교를 포함하고 있을 것
(2) 이해하기 쉬울 것
(3) 비율일 것
(4) 행동을 변화시킬 것
(5) 한 쌍으로 움직이는 지표로 가늠할 수 있을 것
좋은 지표란 무엇일까. 책을 읽기 전에도 좋은 지표란 말 그대로 프로덕트의 '지표'가 될 수 있는 기준이 되어야 한다고 생각했다. 유저의 목소리, 프로덕트의 성장 방향성을 알려주는 요소 중 하나인 만큼 어떤 것이 좋은 지표가 될 수 있는지에 대한 고민을 했다.
책에서 설명하는 여러 좋은 지표의 기준이 있지만, 정리하자면 위의 다섯 가지라고 정리할 수 있었다. 우선, 비교를 포함한다는 것은 단순히 "전환율이 5% 상승했다"가 아니라 "지난주에 비해서 전환율이 5% 상승했다"가 좋은 지표라는 의미이다. 명확한 비교 대상이 있는 경우, 그리고 그 비교 대상이 과거와 현재라면 지금 프로덕트가 어느 정도 상승했는지를 가늠할 수 있기 때문이다.
두 번째로 이해하기 쉬운 지표라는 의미는, PM은 지표를 프로덕트를 개선시킬 수단으로도 활용하지만 개선을 위해 설득하는 용도로 사용하기 때문에 중요하다고 생각했다. 아무리 여러 요소를 종합해서 좋은 방향성을 도출할 수 있는 지표 대시보드를 설계하더라도, 함께 프로덕트를 만들어가는 팀원들을 설득시킬 수 없다면 의미가 없다. 따라서 해당 지표가 명확히 어떤 것을 보고자 하는지나 해당 내용이 프로덕트와 어떤 연관관계가 있는지, 지표에 대한 이해가 행동으로 전환될 수 있는지가 무엇보다도 중요하다.
비율이어야 하는 이유는 비교하기 좋고, 행동에 반영하기 좋기 때문이다. 예를 들어서 CTR, 소진율, 방문율, 수익률 등을 들 수 있다. 앞서 언급한 비교를 포함하고 있을 것에서도 언급했다시피, 비율로 지표를 표현하면 아무래도 상황을 이해하는 데 좀 더 큰 도움이 될 수 있다. 해당 지표를 보고 다음 액션을 정하고, 방향성을 정하기 쉽도록 나아갈 수 있어야 한다. 실제로 내가 맡은 프로덕트와 관련해서 보고 있는 지표에서도 방문자수 대비 전환율, 노출수 대비 클릭률 등 비율로 성과를 측정하고 있다.
그다음으로 행동을 변화시킨다는 것은 지표로 인해 프로덕트의 방향을 움직일 수 있어야 한다는 것이다. 이를 위해서 분석 결과에 따라 어떤 액션을 할지 미리 정해두는 것이 필요하다. 예를 들어서 A라는 영역을 20% 늘렸을 때 클릭률을 15% 이상 증가시키면 적용한다는 목표를 두고 지표를 본다는 의미이다. 만약 증가시키지 못한다면 영역을 줄이거나, 혹은 다른 액션을 통해서 목표 클릭률을 늘릴 방안을 고민해야 한다. 여기에서 15% 라는 기준은 정하기 나름이지만, 예전에 읽었던 책에 의하면 p값을 활용하는 방법을 추천하고 싶다.
마지막으로 한 쌍으로 움직이는 지표를 같이 본다는 것은, 핵심 지표를 가늠하는 것으로 이어질 수 있다. 예시로 제품 구입 전환율과 제품 구입까지 걸리는 구매시간으로 사업의 현금 흐름 창출력을 알 수도 있고, 방문자수 대비 클릭률과 전환율을 보면 매출을 예상할 수 있다. 이처럼 지표를 볼 때도 어떻게 활용하느냐에 따라 좋은 지표가 될 수도, 나쁜 지표가 될 수도 있다는 것을 알게 되었다.
러닝 커브 2 :
다양한 지표들, 어떤 식으로 활용할 수 있을까
(1) 정성 지표와 정량 지표
(2) 허상 지표와 실질 지표
(3) 탐색 지표와 보고 지표
(4) 선행 지표와 후행 지표
(5) 상관 지표와 인과 지표
지표는 정말 다양하다. 책에서 소개하고 있는 다양한 지표 중, 여러 지표의 비교군에 대해서 설명하고 있었다. 그 종류는 위와 같다.
정성지표는 특정 목표를 향한 진행 수준을 결정하는데 숫자가 아닌 요소이고, 정량 지표는 숫자로 이루어진 요소이다. 정성지표는 주로 관찰과 경험을 바탕으로 수집되고 정량 지표는 실제로 찍힌 데이터를 바탕으로 수집할 수 있다. 정성지표를 보고 난 다음 정량지표를 보는 방식이 가장 효과적일 것이라 생각했는데 그 이유는, 소수의 고객의 이야기를 듣고 해당 내용이 실제로 더 많은 유저들에게도 적용되는 방식인지 판단하는 과정에서 정성과 정량 모두를 활용해야 한다고 생각했기 때문이다. 즉, 정성적 데이터를 바탕으로 타깃을 정하고 구체적인 목표 시장의 잠재고객을 대상으로 더 상세한 데이터를 보는 과정으로 이어진다면 좀 더 나은 데이터를 볼 수 있을 것이라는 것을 말하고 있었다.
허상 지표는 행동을 바꿀 수 없는 지표를, 행동 방침 선택에 도움 되는 지표를 의미한다. 어떤 데이터를 수집하고 이를 통해 의사결정을 하고자 한다면 가장 먼저 생각해봐야 할 것이 "이 데이터로 내가 무엇을 할 수 있을까"에 대한 것이다. 책에서의 예시에 의하면 '전체 가입자 수'가 허상 지표일 수 있다. 숫자가 의미하는 바가 단순히 시간이 지나면서 우상향 하는 것이지, 이 지표로 인해 유저가 단순히 '가입한다'외에 어떤 액션을 취하는지나 어떤 의미를 줄 수 있는지를 알 수 없기 때문이다. 반면에 '활동 사용자 비율'은 실질 지표라고 할 수 있다. 사용자의 참여도를 알 수 있기 때문이다. 제품을 수정하면 해당 지표가 바뀌게 될 수 있고, 제품이 성장했다는 기준이 해당 지표가 될 수 있기 때문이다.
(추가로, 히트수나 페이지뷰, 방문수, 순수 방문자 수, 팔로워/좋아요/친구 수, 사이트에 머무른 시간/페이지 수, 수집된 이메일 주소, 다운로드 횟수는 허상 지표라고 말하고 있다)
그다음으로 탐색 지표는 아직 알려지지 않는 사항을 찾는 목적으로 존재하며, 추론에 기반한 지표이다. 보고 지표는 일상적인 경영 상황을 알 수 있도록 하는 지표이다. 전자는 모르는 것을 알기 위해 존재하는 지표로 데이터 분석이나 adhoc 분석 등이 해당되고, 후자는 지표의 기준을 정하고 자동화하여 관리하기 위해 존재하는 지표로 일반적인 대시보드에 들어가는 데이터가 될 수 있다.
개인적으로 가장 도움이 되고 있다고 생각했던 지표는 선행지표와 후행지표이다. 선행지표는 미래를 예측하는 데 사용되는 지표고, 후행지표는 이미 벌어진 일에 대해 확인하기 위해 사용되는 지표이다. 예를 들어, 영업 퍼널의 현재 잠재 고객 수를 보면 앞으로의 신규 고객을 얼마나 확보할 수 있을지 알 수 있을 것이다. 반면 3개월 동안 이탈한 고객의 수를 나타내는 지표는 문제가 발생하고 나서야 데이터를 확인할 수 있다. 물론, 그렇다고 해서 후행지표가 의미가 없다는 것은 아니다. 이탈한 고객 수를 뒤에 인지했다면, 앞으로는 어떤 부분을 바꾸어야 하는지에 대해 고민할 수 있고 또 다른 프로덕트의 기회를 엿보고 있었다면 해당 경우의 선행지표가 될 수 있기 때문이다.
마지막으로는 상관 지표와 인과 지표에 대해 이야기하고 있었는데, 상관 지표는 두 값이 함께 움직이는 지표를 의미하고 인과 지표는 원인과 결과에 의해 존재하므로 한 지표가 다른 지표를 변화시킬 수 있는 지표이다. 예를 들어 가장 대표적인 상관 지표는 아이스크림이 많이 팔리면, 반바지도 많이 팔리는 경우에 사용할 수 있다. 여름이기 때문에 아이스크림이 많이 팔리는 현상은, 독립적으로 존재하는 것 같은 반바지 판매와도 관계가 있는 것이다. 인과 지표는 여름이라 기온이 올라갔기 때문에 -> 아이스크림이 많이 팔린다는 것이다. 기온이라는 지표가 아이스크림 판매량에 영향을 주는 것이다.
러닝 커브 3 :
데이터를 분석할 때 꼭 고려해야 하는 것들은 무엇일까
(1) 아웃라이어 값의 의미를 명확하게 알고, 포함 및 제외할 것
(2) 데이터의 결점을 찾아내서 수정할 것
(3) 계절성을 고려하고, 표준화할 것
(4) 성장을 평가할 때는 전체 규모를 고려할 것
(5) 지나치게 많은 데이터를 보지 않을 것 (기준이 사라지는 것을 방지)
(6) 잡음이나 소음에 초점을 두지 않을 것
(7) 직접 수집하지 않은 데이터라도 의미를 찾아볼 것
또 하나 인상 깊게 봤던 부분은 데이터 사이언티스트처럼 생각하면서 데이터를 보는 것에 대해서였다. 위의 내용은 책에서 설명하는 10가지의 생각하는 방식을 7개로 요약한 것인데, 데이터를 보는 과정에서 발생할 수 있는 몇 가지 놓치는 부분을 찾을 수 있다는 점에서 무척 흥미로웠다.
데이터는 존재하는 것만으로의 의미보다, 해당 데이터에서 의미를 찾아내고 해석하는 것이 굉장히 중요하다고 생각한다. 같은 데이터를 보고 사람마다 다른 생각을 할 수 있고, 무의미하다고 판단했거나 아웃라이어라 제외했던 값이 큰 변수로 작용할 수 있기 때문이다.
러닝 커브 4 :
성공적인 프로덕트를 만들기 위한 해적 지표는 무엇일까 (AARRR)
A(Acquisition) : 사용자가 어떻게 우리 제품을 알게 되는가? (=사용자 유치, 획득)
A(Activation) : 사용자가 우리가 기대하는/원하는 행동을 했는가? (=사용자 활성화)
R(Retention) : '활성화'된 사용자 중 얼마나 제품 참여를 지속하는가? (=사용자 유지)
R(Revenue) : 사용자가 제품에 지불할 용의가 있는가? (=매출, 수익)
R(Referral) : 사용자가 다른 사람에게 추천할 의향이 있는가? (=추천, 바이럴)
해적 지표는 'AARRR'의 발음이 해적과 비슷하다 하여 붙여진 이름이다. 다섯 가지 지표는 성공적인 사업을 구축하는데 필요한 요소로 구성되어 있다. 사용자 유지 및 획득, 활성화, 유지, 매출 및 수익, 그리고 바이럴이 바로 그 요소들이다.
스터디를 하면서 회사에서는, 그리고 각 프로덕트 별로는 어떤 식으로 해당 지표를 활용하고 있는지에 대해서 이야기를 나누어보았다. 케이스마다 활용하는 방식이 달랐기 때문에, 내가 담당하고 있는 프로덕트에서는 과연 이 개념을 적용시켜 성공적인 방식을 활용하고 있는지에 대해 고민할 수 있었다. 해적 지표에 대해 더 자세히 설명하고 있는 좋은 글이 있어 아래 링크에 첨부시켜보았다.
러닝 커브 5:
하나의 데이터만 볼 수 있다면, 어떤 지표를 봐야 할까 (OMTM)
OMTM (One Metric That Matters)
: 특정 시기마다 다른 무엇보다 신경 써야 할 하나의 지표가 있다. 적절한 시기에 적절한 사고방식으로 적절한 것에 초점을 맞춰야 한다. 즉, 사업의 처음부터 끝까지 한 가지 지표를 보는 것은 옳지 않다.
마지막으로, 나에게 가장 많은 생각을 하게 해 주었던 파트는 OMTM이었다. 처음에는 OMTM이 북극성 지표를 의미한다고 생각했다. 하지만 차이가 있다면, 북극성 지표는 고객이 우리 제품을 통해 달성하고자 하는 목적에서 시작되는 개념이라면 OMTM은 이것을 달성하기 위해서 내부에서 달성해야 하는 지표였다.
그렇기 때문에 OMTM이 특정 시기마다 적절히 변경해서 집중해야 하는 지표를 찾아내야 한다는 것이었고, 북극성 지표의 경우에는 시간에 따라서 변하지 않는 지표라는 차이점이 있었다. OMTM을 사용해야 하는 네 가지 이유에 대해서도 설명하고 있었는데, 해당 내용은 다음과 같다.
가장 중요한 질문에 대해 답을 제시할 수 있기 때문이다.
기준을 정하게 되고 분명한 목표를 가질 수 있기 때문이다.
회사 전체를 한 가지에 집중하게 하기 때문이다
실험 문화를 조성하기 때문이다.
이 지표를 현재 내가 담당하고 있는 프로덕트에 대입해보았을 때 어떤 것을 지금 기점에서 집중해서 봐야 하는지 고민을 많이 할 수 있었다. 어떤 목적으로 프로덕트를 성장시키려고 하는지, 그러기 위해서 현재 유저들은 어떤 식으로 프로덕트를 활용하고 있는지, 그들이 생각하는 방향과 데이터가 말하고 있는 방향을 일치시키기 위해서는 어떤 지표를 기점으로 잡아야 하는지를 생각할 수 있었다.
우리 회사는 데이터 드리븐 의사결정을 해서 프로덕트를 개선시켜나가는 것으로 잘 알려져 있다. 그래서인지 프로덕트를 개선하는 입장에서 누구보다도 유의미한 데이터의 의미를 찾아나가야 한다. 그동안 프로덕트와 관련하여 만들어져 있는 대시보드만 확인하며 프로덕트를 개선시켰다면, 이번 스터디에서 배우고 고민한 것들을 실제 프로덕트에 적용시킬 때 많은 도움이 될 것 같다.
