지표에서 문제 발굴까지

지표를 어떻게 다뤄야 할지 감도 안잡히던 어느날 한 회사에 APM으로 알바를 하게 된다. 나의 역할수강생을 관리하고 수강생들의 피드백을 기반으로 교육 과정 운영하고 개선하는 역할을 한다.

여기서 처음으로 제대로 된 지표를 마주한다. 여기서는 NPS라는 지표를 메인으로 본다. 스프레드 시트에 가득 차져 있는 NPS지표를 보며 익숙하지 않지만 그래도 이것 저것 만져 보며 파악하고 있다.

NPS란 고객 만족도이다.

고객이 해당 제품을 다른 고객에게 추천할 의향이 있는가를 물어본다. 0점에서 10점의 범주로 나눠져있는 NPS는 Detractors(0점 ~ 6점), Passives(7점 ~ 8점), Promotors (9점 ~ 10점)으로 나뉜다.

그리고 Promoters의 수치에서 Detractors의 수치를 뺀 값이 NPS가 된다.

NPS = Promoters(%) - Detractors(%)

출처 : Qualtrics

그럼 왜 내가 맡은 프로덕트는 NPS를 주요 지표로 사용할까?

우선 처음에는 NPS라는 지표를 몰랐기에 다른 곳에서도 사용하는지에 대한 의문을 가졌다. 어떤 PM분 한분과 커피챗을 할때 여쭤보니 상당히 활발히 NPS를 사용중이라고 언급했다. 다만, 주요 지표로는 사용하지 않고 서브 지표로 사용한다고 언급해주셨다. 실제 모바일 프로덕트의 지표를 찾아보면 리텐션, 재구매율, 등을 주요한 지표로 삼는다.

그런데 왜 이 프로덕트는 NPS를 주요지표로 사용할까?

내가 맡은 프로덕트는 부트캠프의 한 코스이다.

부트캠프의 한 코스의 전체 사이클을 보자면 시작 전, 진행 중, 진행 후의 단계로 나뉜다.

시작 전에는 해당 부트캠프를 사용자들에게 노출시키고 실질적으로 결제까지 이어지는 비율이 가장 중요한 지표가 될것이다.

진행 후는 코스 전체의 수료율, 그리고 취업율이 사용될 수 있는 주요한 지표일것이다.

여기서 나는 진행 중의 단계를 맡았기 때문에 NPS가 가장 중요한 지표이다.

물론 각 과정별로 제출율, 출석율도 주요하게 보지만, 실제적으로 관리를 한다면 크게 변동이 없어 각 단계의 진척률과 NPS를 주요하게 살펴본다.

지표 분석

이제까지 나는 지표를 어떻게 분석하는지 전혀 감도 안잡혔고 몰랐다. 사실 처음에는 NPS가 떨어지고 있는것이 문제이다라고 만 생각했던것 같다. 그 문제를 어떻게 접근해야 할지 그냥 통째로 떨어진 지표를 바라보며 물음표만 끝임없이 이어지고 있었다. 그러다 수강생들이 만족도 조사에서 같이 제출한 정성적인 지표를 통채로 살펴봤다.

하지만, 그래서는 문제를 제대로 바라볼 수 없다.

문제를 찾을 수는 있어도 그 문제를 얼마나 많은 사람들이 겪고 있는지 파악 할 수 없었고 정말 고쳐야 하는 문제인지도 알기 어려웠고,

수 많은 문제들 사이에서 우선순위를 세울 수도 없었다.

이제는 문제 해결을 위해 지표를 어떻게 봐야할지 알것 같다.

지표를 요리조리 다양하게 가지고 놀아야 한다.

우선은, 지표를 최대한 잘게 나눠야 한다.

그리고 유사성이 있는 지표를 같이 살펴봐야한다.

유사성 있는 지표를 발견하기 위해서는 최대한 다양한 관점으로 지표를 살펴보아야 한다.

코호트

그래서 코호트라는 개념이 여기서 나오는 것 같다.

코호트는 비슷한 특성을 가진 통계 그룹을 하나로 묶어서 보는 것이다. 여기서 중요한 점은 코호트는 매번 똑같을 수 없다는 것이다. 이게 무슨 말이냐면 어떤 문제를 해결할지 정한 기준마다 코호트는 달라진다. 예를 들어보자, 당근에서 중고 거래량이 줄었다고 가정해보자 이 순간에 봐야할 코호트는 크게 판매자와 구매자의

코호트로 나뉜다.

판매자들은 공통적으로 판매하는 물품을 올려 판매하는 공통점을 가지고 있다. 이때, 구매자는 구매를 하는 공통적인 특성을 가진다.

당근에서 판매자는 구매자가 될 수 있고 구매자는 판매자가 될 수 있다.

인스타그램을 사용해 조금 더 직관적인 예시를 들자면 인스타그램 자체의 접속률이 적어지는 문제가 터졌다고 가정해보자 그렇다면 사용자를 일주일에 한번 인스타그램을 접속하는 사용자, 매일 법속하는 사용자, 흐루에도 7번씩 사용하는 사용자 등으로 나눌 수 잇다. 하지만, 동일찬 서비스에도 다른 문제가 터진다면 인스타로 예를 들면 게시글 작성율이 떨어졌다면 다른 코호트가 필요하다. 게시글을 아예 작성하지 않는 사용자, 일주일에 한번 게시글을 올리는 사용자, 란달에 한번 게시글을 올리는 사용자 등으로 말이다. 코호트를 나눠 잘게 쪼개진 지표를 살펴봤다면 대략의 문제 지표를 파악할 수 있다. 그 지표를 바탕으로 연관 관계가 있는 지표를 함께 봐야한다.

연관관계

지표 분석 시 액션별로도 나눠서 분석하는데 각각의 지표는 서로 얽히고 설켜 어느새 한가지 지표만 보고 좋아졌다 안좋아졌다를 판단 할 수 없다. 특히, 만족도의 경우는 더욱 더 그렇다. 나는 교육쪽 기획 운영을 하고 있기 때문에 수강생들이 현재 배우고 있는 학습 난이도에 따라 만족도 또한 달라진다. 현재 수강생들이 학습하고 있는 부분의 체감 난이도가 높다면 여지없이 만족도 또한 떨어지게 된다. 난이도가 높아지는데 본인이 학습을 잘 못 따라온다고 생각하면 당연한 결과이다. 이 부분을 고려하고 NPS를 살펴봐야 지표를 조금이라도 객관적으로 바라볼 수 있다.

문제는 무엇일까? 지표를 보고 지표적 변화를 발견했다면 이제 문제를 찾기 위해 깊게 파고 들어야 한다. 왜 이런 문제가 나타났을까? 최대한 깊게 파고 들어가 정말 문제의 핵심을 찾을때 까지 이 질문을 해야한다.

그리고 해결해야 할 진짜 문제와 해결이 필요없는 가짜 문제를 반드시 구별해야 한다.