우리가 추적해야 할 지표는요?
전환율 실험을 자주 하다 보면 자연스럽게 매트릭(지표)에 많이 신경 쓰게 된다.
하지만 처음부터 매트릭을 잘 썼던 건 아니다.
제품을 만들다 보면 항상 계획대로만 흘러가진 않는다.
기획 단계에서 고려하지 못했던 문제가 생기기도 하고 릴리즈 일정에 쫓겨서 제품 스펙을 줄이게 되는 경우도 많다.
그럴 때 팀에서는 이런 질문이 자주 나온다.
“지금 이게 진짜 문제가 맞나요?”
“본질적인 문제부터 해결해야 하지 않나요?”
여기서 한 가지 어려운 점이 있다. 우리가 한 일에 대해서 고객에게 직접 피드백을 받으려면 사이클이 너무 길다. 피드백을 수집하고 분석해서 의미 있는 인사이트로 만들기까지 시간이 꽤 걸린다. 그 사이 팀은 이미 다음 일정을 준비하고 있고, 속도를 맞추기가 어렵다.
그런데 매트릭이 있으면 다르다. 릴리즈 후 바로 데이터를 통해 간접적인 피드백을 확인할 수 있다.
문제가 있는지 없는지, 예상과 다른 변화가 발생했는지 빠르게 반응할 수 있다. 그만큼 개선 속도도 빨라진다.
그래서 내가 가장 자주 하는 말이 있다.
“지금 우리가 고민하는 문제가 진짜 문제인지 아닐지는 릴리스하고 매트릭을 보면서 그때 바로 고쳐요.”
매트릭이 있으면 논의의 초점이 명확해진다. 릴리즈 후 어떤 데이터를 보고 다시 논의할지 팀이 함께 정할 수 있다. 그래서 요즘은 제품을 만들 때 거의 항상 팀에 이렇게 묻는다.
“이 이슈에서 우리가 추적해야 할 지표는 무엇일까요?”
지표를 정해두면 릴리즈 후에 내가 따로 분석 문서를 만들 필요 없이 팀원들과 같은 매트릭을 보고 바로 대화를 이어갈 수 있다. 예전에는 혼자서 매트릭을 잡고 나중에 슬라이드로 설명했었는데 매트릭을 본인이 직접 보는 거와 내가 설명해서 듣는 거와는 문제 해결의 반응 속도가 달랐다.
요즘은 릴리즈 전에 “이번 릴리즈에서 우리가 해결할 문제를 어떻게 잴 수 있을까요?” 이걸 먼저 팀원들과 합의한다.
그러면 릴리즈 후에 개발자, 디자이너와 같은 지표를 보면서 그 자리에서 바로 개선 논의를 할 수 있다. 매트릭이 커뮤니케이션의 중심이 되는 순간이다.
그리고 릴리즈 전에 개발자들이 가장 걱정했던 질문들이 막상 릴리즈 후에는 별 문제가 되지 않는 경우도 많았다. 반대로 예상하지 못했던 데이터 변화에서 새로운 문제가 드러나기도 한다.
그래서 매트릭은 단순히 결과를 측정하는 도구가 아니라 팀이 앞으로 어떤 대화를 할지 방향을 잡아주는 언어라고 생각하게 됐다.
우리가 추적해야 할 지표는요? 이 질문 하나로 팀의 대화가 달라진다.
그리고 좋은 지표를 합의해 두는 것만으로도 팀이 스스로 빠르고 자연스럽게 움직이게 된다는 걸 요즘 더 자주 느끼고 있다.
결국 매트릭은 숫자를 맞추는 도구가 아니라, 팀이 더 나은 선택을 빠르게 해 나가는 언어다.
그 언어를 잘 정리해 두는 것도 PM으로서 중요한 일이라는 걸 이번에 또 한 번 느꼈다.
