brunch

매거진 생활 속 데이터 과학 이야기

라이킷 29 댓글 3

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by cojette Nov 08. 2016

'지표'를 바르게 사용하는 것

지표는 원하는 목표에 대한 값을 쉽게 보기 위한 수단일 뿐이다.

A: 우리 서비스에서 재방문자 비율을 가장 빨리 높일 수 있는 방법은 무엇일까요?

나: 신규 가입을 중단시키면 됩니다.

몇 년 전에 했던 실제 대화다. 물론 A의 의도를 모르고 저렇게 대답했던 것은 아니다. 다만 나는 그 질문에 대해 답을 했을 뿐이다. 사실은 어떤 '지표'에 목매지 말라는, 혹은 목매려면 왜 그런 지 생각해 보자는 이야기도 같이 하고 싶었기도 하다.

'지표'는 자신이 원하는, 도달하고자 하는 것에 대한 값을 쉽게 보기 위한 수단일 뿐이다. 어떠한 절대적인 기준이 아니다.

'숫자'라는 것은 굉장히 매력적이다. 이를 보고 있다보면 어떤 절대적이고 명확한 매력에 빠지게 된다. 그러다보면 일부 사람들은 이를 지향하다 못해 원래의 목적은 잊은 채 이 숫자에 과하게 탐닉하게 된다. 날씬해지고 싶다는 생각에 체중 수치를 목표로 정하고 과한 다이어트로 건강을 해치기도 하고, 특정 판매량을 달성하기 위해 직원들에게 자사 제품 강매를 강요하기도 한다.

사실, 그 수치가 자신에게, 서비스에게 정말로 필요하고 원하는 것이었고, 그 목표 달성에 따른 부작용을 감내할 수 있다고 생각했다면 상관없다. 하지만 우선, 대다수는 목표를 그렇게 심각하게 세우지 않았다. 그래서 어떤 부작용이 있을 수 있을 지 애초에 고려하지 않았고, 그래서 부작용이 나타났을 때 이를 감내하지 못한다. 그래서 혹자는 지표를 잘못 세웠다고 버리기도 하고, 혹자는 이것도 보고 저것도 봐야 해! 라고 수많은 지표를 만들기도 한다. 그리고 결국 그걸 다 챙기지 못해서 버려지게 된다. 수많은 대시보드들이 그렇게 사람들에게 잊혀져 가지 않았던가.

하지만, 대부분의 경우, '지표'를 정확하게 세우기만 했어도 이런 문제는 반 이상 줄어들었을 것이라고 확신할 수 있다. '지표를 정확하게 세운다는 것'은, 말하기는 참 쉽지만, 다음의 전제 조건을 수반한다.

1. 자신이 원하는 목표를 확실하게 알 것

인간의 욕심은 끝이 없다. 하나만 원하는 경우는 흔하지 않다. 사람들은, 자신이 예쁘고 돈도 많고 시간도 많고 친구도 많고 따뜻하면서도 똑똑한 사람이기를 원하지만, 설령 로또가 된다고 해도 이 조건 중 한 두 개를 겨우 채울 수 있을 정도다. 기적이 일어나지 않는 한, 이를 한 번에 다 채울 수는 없고, 어떤 경우는 충돌이 일어나기도 한다. 따라서 순서와 목표값, 필요시 기간 등을 잘 가지치기해서 정하는 것이 필요하다. 사실 여기가 말은 쉽지만 가장 중요한 부분이고, 이는 회사의 기본적 경영 원칙 등과도 궤를 같이 한다. 이 부분이 흐리멍덩해지면서 많은 지표가 흐트러지고, 남들이 쓰는 값을 그냥 갖다 쓰기 마련이다. 하지만 그러다 망하는 것을 우리는 부지기수로 보아왔다. (~~하지만 인간의 욕심은 끝이 없고 많은 경우는 같은 실수를 반복하기도 한다~~)

2. 원하는 목표를 측정할 수 있는 형태로 환산할 줄 알 것

어떤 서비스가 '잘 나가고 싶다' 라고 생각했을 때, 그 '잘 나간다'라는 말의 기준이 무엇일까. 돈을 잘 버는 것일 수도 있고, 회원 수가 많은 것일 수도 있고, 앱스토어의 featured에 올라가는 것일 수도 있다. 이에 대한 정의를 1번 단계에서 잘 마무리했다면, 이를 값으로 환산하고 측정할 수 있게 만들어야 한다. 돈을 잘 버는 것이라면 수익을 어떻게 구할 것인지, 수식이나 사용 기준 등을 세운다. (예: 순수익 = 총 수익 - 사용 비용, 사용 데이터: 총 수익: billing DB table의 sales_amount ,사용 비용: 회사관리 비용 + 제품 구매 비용+ 서비스 대여 비용 단위: 월)

3. 그 수치 상으로 자신이 원하는 목표가 어떤 값인 지를 만들 것

물론 지표를 '상태 비교' 라는 용도로만 사용할 수도 있다. 하지만 끝없이 비교만 해대는 것은 무의미하다. 원하는 목표가 얼마인지를 알고 갈 길이 이만큼 남았다는 것을 보는 것이 중요하다. 끝없이 '아직 멀었어! 더 올라야 해! '라고 허공에 의미없이 외치기만 하면 지쳐 버리기 일쑤이고, 체셔 고양이 마냥 '원하는 곳 어디로든 가면 그게 길이야' 라고 하려면 굳이 지표가 필요가 없다.

4. 그 숫자 및 값이 어떤 환경에서 유효한 것인지에 대해 사전에 정의를 할 것

지표 기준은 움직이지 않지만, 사람도, 서비스도, 세상도 움직인다. 갑자기 서비스가 해외 진출을 하게 된다든가, 회사가 다른 회사에 인수가 된다거나, 새로운 규제가 생겨서 서비스에 영향을 받는다거나 하는 예상된, 혹은 예상치 못하는 일은 언제든 일어날 수 있다. 이런 상황에서 목표가, 혹은 가장 크게 추구하던 무언가가 변하는 것은 당연한 일이다. 이럴 때도 원 지표와 목표값을 주장하는 것은 파운드 표기된 체중계를 그대로 우리 나라에 들고 오는 것과 같은 행동이다. 이 지표는 현재 타겟에서 현재의 어떠어떤 상황이 어느 범위 내일 때 유효하다는 것을 명확하게 인지하고 있어야 한다.

스타트업이 흥하고, 데이터 기반 의사 결정이란 말이 조명을 받으면서 기존에 KPI라는 이름으로 실제로 유효하지도 않으면서 수많은 사람들에게 압박과 스트레스의 대상으로 욕먹던 '지표'가 많은 사람들에게 재조명받기 시작했다. 하지만 '지표'의 단순함과 재조명의 힘을 입은 쿨함에 가려져, 이를 제대로 파악하고, 명확하면서도 유연하게 사용하는 것이 중요하다는, 정작 이에 대한 실제는 사람들이 차츰 잊어가고 있다. 재방문율, MAU, LTV 등의 많이 알려진 지표들을 다들 언급하지만 이를 실제로 어떤 식으로 정의하는지, 이 지표를 보는 사람들이 다 인지하고 있다고는 차마 말할 수 없을 것이다. 만약 서비스가 주 단위 사이클을 가진다면, MAU보다 WAU가 더 맞을 수도 있는데, 이를 고려하지 않은 지표들이 허공에 떠다닌다.

주요 지표가 재방문율인 서비스가 있다면, 어떤 목표를 보기 위해 '재방문'이란 것을 사용했는지, 그 '재방문'은 어떤 구간을 정의했고, 왜 구간을 그렇게 잡았는지, 현재 서비스에서 원하는 재방문율은 어느 정도인지, 그리고 왜 재방문율을 주요 지표로 잡고 있는지를 고민해보고, 기준을 합의하고, 이 기준에 대해 인지하고 있으며 이 기준이 어떤 전제조건 하에서만 유효한 것인지를 알고, 이를 통해서 어떤 결정을, 어떤 가치를 창출하려고 하는 지를 이해하고 있어야, 바르게 지표를 알고 있는 것이다. 그리고 그 지표는 단지 목표를 위한 도구임을 인지하고, 그 도구를 위해 일을 하는 것이 아니라, 하고 있는 일에 그 도구를 적절히 반영할 때, 바르게 지표를 사용하고 있는 것이다. 그게 아니라면, 아무리 남들이 많이 쓰는 지표든, 혹은 페이스북이나 구글 같은 데서 쓰는 지표든, 자신에게는 먼 옛날의 KPI처럼 목적과 수단을 혼동한 채 압박받는 보여주기식 숫자에 그쳐버리거나 [린 분석]에서 이야기하는 '허상 지표'가 될 뿐이다.

지표에 대한 개념은 아무리 보아도 지나치지 않다. 그런 의미에서 오래 전 발표 자료 링크도 다시 추가한다.

http://www.slideshare.net/cojette/metric-33010640

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari