지표는 언제나 어렵다
프로젝트나 실험을 설계할 때 맞닥뜨리는 고민 중 하나는 성공 여부를 결정하는 지표, 목표 지표 혹은 KPI를 정의하는 일이다. 현상을 추정할 수 있는 지표란 정말 여러 가지가 있지만 정답이나 규칙은 없기에, 어떤 지표가 목적에 부합하는가? 어떤 지표로 가장 잘 검증할 수 있을까? 같은 질문은 크건 작건 언제나 분석가와 PM의 머리를 따라다닌다.
지난 4~5년은 분석가가 없는 조직에서 프로젝트와 팀을 담당하는 기획자이자 프로덕트 매니저로서 일하며 지표를 고민했다. 그리고 최근에는 사내 첫 번째 데이터 분석가 역할을 담당하면서 조직 내 여러 팀의 분석을 서포트하고 있다. 기획자건 PM이건 분석가건 결국 팀을 움직이게 이끌거나 조율하는 입장이기에, '좋은 지표', 그중에서도 'Actionable 지표란 무엇인가?를 고민했는데, 최근에서야 생각이 한 차례 정리되었다.
지표 너머의 기준과 관점
Actionable 지표란 이른바 좋은 목표 설정을 위한 지표의 유명한 프레임워크 중 하나인 SMART 지표의 한 축이다. 요지는 간단하다. 지표가 탁상공론이 아니라 행동하는데 기여해야 한다는 뜻이다. 그런데 대체 어떤 지표는 탁상공론이 되고 어떤 지표는 행동에 기여하는 걸까?
* SMART 지표 : Specific, Measurable, Actionable, Realistic, Time-bound
* SMART 지표 : Specific, Measurable, Actionable, Realistic, Time-bound
애당초 지표와 행동의 관계는 무엇일까? 논리적인 행동에는 크게 두 가지가 필요하다. 논리적인 명제와 이를 뒷받침하는 근거로서의 자료. 근거로서의 자료는 다시 두 층위로 나뉜다. 일단 어떤 자료가 그 근거가 될 것인가, 그리고 이 자료가 정량화될 수 있는 자료라면, 그 값의 수준은 어떠해야 하는가.
다시 말해 지표를 참고하는 모든 행동은 1) 어떤 지표가 2) 얼마나 되었을 때 이러하게 행동하겠다(혹은 하지 않겠다)라는 기준이 있는 의사결정의 결과이며, 이를 바꿔 서술해 보면 좋은 지표는 의사결정에 따른 행동의 수행 여부와 그 종류 혹은 수준을 바꾸는 지표다.
예컨대 구매 퍼널의 전환율을 기존 대비 50% 이상 증가시키는 걸 목표로 하는 프로젝트를 설계했다고 가정해 보자. 그런데 만약에 전환율이 기존 대비 45%만 증가했다면 어떻게 할 것인가? 혹은 기대 이상으로 60%가 증가했다면 어떻게 할 것인가? 우리의 의사결정과 행동에 무엇이 달라지는가? 전자는 조금 아쉬워하고 후자는 맛있는 저녁 회식으로 이어지는 게 끝이라면, 적어도 이 프로젝트에선 전환율은 Actionable 하지 않다. 고객과 제품, 사업에 대처하는 나의 행동을 바꾸지 않으니까.
그런데 이는 정말 지표의 탓일까? 전환율이 목표로서 삼기에 나쁜 지표라는 뜻일까? 고객 유입량과 상품 판매가 또는 객단가가 동일하다면, 전환율의 변화는 매출액의 변화로 이어진다. 그런데 만약 조직 또는 제품의 상황이 일정 매출액을 달성하지 못하면 사업타당성을 검증하지 못한다고 판단할만한 상황이라면, 전환율 개선의 미달 또는 초과달성은 분명 행동을 바꿀 것이다. 전자라면 어떻게든 나머지 5%를 채우기 위한 후속조치가 이어질 테고, 후자라면 사업의 전략이 바뀔 것이다. 행동이 달라진다.
같은 지표임에도 행동의 여부와 내용, 수준이 달라진다. 이는 지표 자체만으로 절대적으로 Actionable 여부를 판단하기 어렵다는 뜻이다. 지표란 상황을 객관적으로 파악하고 여러 단서와 조합하여 현상에 대한 문제의식을 갖게 하는 근거가 돼지만, 문제의식은 목표 지표 하나만으로 생겨나지 않는다. 기준과 관점 아우러져 행동을 결정짓는다. 즉, 지표의 Actionable 여부를 결정짓는 건 지표가 아니라 나의 기준과 관점에 있다.
지표 너머의 상황을 통제할 노하우
다만 이는 아직까지 문제 진단에 지나지 않는다. 아무것도 하지 않았다면 상황은 동일하다. 그런데 어떤 활동이고 열심히 그리고 빠르게, 많이 하다 보면 상황이 나아질까? 물론 그럴 수도 있다. 그런데 이것저것 덮어놓고 하다 보면 다음에도 이러한 상황에 처했을 때 '그래서 이번에는 뭘 해야 하죠?"라는 질문에 답하지 못한다. 행동을 취하자고 의사결정도 마쳤는데, 뭘 해야 할지 모른다.
그래서 Actionable 지표는 구체적으로 어떤 방식, 어떤 행동을 통해 이를 통제할 수 있는지 노하우를 아는 지표다. '이런 유형의 고객에게 팔아야 한다'라거나, '이런 가치가 강조된 문구를 써야 한다'라거나, '이런 시점에 접근해야 한다'라는 식의 검증되고 학습된 비결이 있는 지표다. 그리고 이러한 맥락에서 선행지표 혹은 중간지표가 등장한다. 세상에 결과를 바꿀 수 있는 변인에는 한 가지만 있지 않고, 지금 여기 나의 행동과 최종 결과 사이에 중간 과정, 퍼널, 단계가 너무 많을수록 나의 행동 외에도 너무 많은 변인이 존재하니까. 달리 말해 내 행동으로 결과가 바뀌지 않을 가능성이 높아지니까.
지표 구조의 예시. 총매출액을 직접 바꾸기에는 그 하위에 너무나 많은 변인이 자리한다.
반면 광고 노출량, 품목별 수량 등은 직접 통제할 수 있는 여지가 많다. 그리고 이를 통해 결국 매출액은 증가한다.
그래서 Actionable 지표는 구체적으로 어떤 방식, 어떤 행동을 통해 이를 통제할 수 있는지 노하우를 아는 지표다. '이런 유형의 고객에게 팔아야 한다'라거나, '이런 가치가 강조된 문구를 써야 한다'라거나, '이런 시점에 접근해야 한다'라는 식의 검증되고 학습된 비결이 있는 지표다. 그리고 이러한 맥락에서 선행지표 혹은 중간지표가 등장한다. 세상에 결과를 바꿀 수 있는 변인에는 한 가지만 있지 않고, 지금 여기 나의 행동과 최종 결과 사이에 중간 과정, 퍼널, 단계가 너무 많을수록 나의 행동 외에도 너무 많은 변인이 존재하니까. 달리 말해 내 행동으로 결과가 바뀌지 않을 가능성이 높아지니까.
지표 구조의 예시. 총매출액을 직접 바꾸기에는 그 하위에 너무나 많은 변인이 자리한다.
반면 광고 노출량, 품목별 수량 등은 직접 통제할 수 있는 여지가 많다. 그리고 이를 통해 결국 매출액은 증가한다.
정답을 향해 그리는 점근선
가끔 지표든 기획이든, 일과 일상에서 하는 모든 일들이 완벽 또는 정답을 향해 나아가는 점근선이라는 생각을 한다. 분명 정답은 없지만 그럼에도 때마다 좀 더 나은 것은 있고, 좀 더 나아질 순 있지만 그렇다고 해서 그것이 언제나 고정불변의 정답이나 진리가 될 순 없으니까. Actionable 지표 역시 마찬가지다. 기준과 관점에 따라 다르고, 어떤 지표의 결과/후행지표는 또 다른 어떤 지표의 중간/선행지표가 된다. 정답을 찾아 지표를 정의하고, 기획하여 실행하고, 분석을 하는 것 같지만 실은 대부분 주관적이고 상대적이다.
그래서 나는 기획자/PM이든 분석가의 일이든 업무 현장에서의 구체적인 모습과 세부적인 노하우, 그리고 조금 더 핵심으로 생각하는 역량과 기술은 다를 수 있지만 업의 본질은 거의 동일하다고 생각한다. 목표에 부합하는 가장 적합한 방법을 찾아 문제를 해결하는 것. 분석가에겐 그게 지표와 분석 결과로 드러나고, 기획자/PM에겐 제품과 기능으로 드러날 뿐이다.