신입PM 포트폴리오 리뷰(4) : 지표도 애자일하게

한 달 뒤에 알면 너무 늦다

 지표는 늘 어렵다

   브런치를 빌어 지표에 대한 이야기를 몇 번 했지만, 가설을 검증하기 위헌 지표를 정하는 일은 어렵다. 조금 추상적인 이야기지만 지표란 건 애초에 현실, 진리와는 다르기 때문이. 그 언저리를, 실루엣을 얼추 비춰주는 것뿐이다. 플라톤의 '동굴의 우화'와 비슷하다. 실체는 따로 있는데 그걸 직접 볼 방법은 없어서 불빛에 비친 그림자로 추론할 뿐이다. 어디서 어떻게 불을 비추느냐에 따라 그림자의 모습은 다양하다.

정답은 없지만 더 나은 건 있다

   그럼에도 오늘도 PM과 분석가는 지표를 정의하고 선택한다. 어쨌든 답은 구해야 하니까. 애당초 철학이나 과학 연구를 하는 건 아니니까. 그렇다고 아무거나 선택하진 않는다. 결국 추론일 뿐인 지표에 고정불변의 정답이란 없지만, 그럼에도 보통 '조금 더 나은' 지표라는 건 있으니까. 부르는 지표의 몇 가지 특징이 있다.

   첫 째, 구체적이다. 대충 얼버무리는 법이 없다. 아, 다르고 어, 다름을 이해하여 정의, 설계되어 있다. 기간, 범위, 척도와 단위, 조건이 구체적이다.

   둘째, 측정하려는 현상과 가깝다. 지표를 통해 현상을 설명하거나 가설을 검증하는 데에 너무 많은 추론과 전제, 가정이 필요치 않다. 이러해서 이러할 것이다,라는 문장이 짧고 명료하다.

   셋째, 직접 통제할 수 있다. 지표를 움직이는 비결이 무엇인지 명확히 안다. 다른 요인이 개입할 여지가 적고, 저 멀리의 결과보다는 바로 눈앞의 과정에 가깝다. 선행지표, 과정지표라고 부른다.

   보통 이 정도만 잘 지켜지면 포트폴리오 리뷰에서 별 다른 이야기를 하지 않는다. 이것만 제대로 이해해도 절반은 제친다. 그러나 피드백을 받는 멘티의 눈이 조금 반짝인다 싶으면 현직자로서 조금 욕심을 내어 설명한다. 이왕이면 더 '애자일한 지표'를 선택해 보자고.

애자일 톺아보기

   애자일이란 무엇인가? 찾아보면 애자일 정신이 나오고, 크로스펑셔널 팀이 나오고, PRD나 User Story가 나오고, (데일리) 스크럼이 나오고, 이에 대비되는 워터폴이 어떠하며 등의 설명이 이어진다. 나 역시 때론 그렇게 설명하곤 했다. 그러나 자세히 찾아보니, 일을 하며 경험해 보니 애자일이란 그런 형식에 있지 않다는 걸 매번 실감한다. 애자일의 핵심은 뒤에 일어날 일을 앞으로 당겨와 먼저 하는 것이며, 여러 문서나 방법론은 이를 업무에 구체화하기 위한 형식, 수단일 뿐이다.

   예컨대 제품 또는 기능을 기획하는 PM 입장에선  이것이 구현 가능한지, 이슈가 없는지, 더 좋은 대안은 없는지 알고 싶다. 예전에는 화면설계서니 무엇이니 하는 문서를 모두 작성한 뒤에 이를 디자인팀의 디자이너에게 전하고,  다시 개발팀의 개발자에게 전달했다. 그런 뒤에 기획의 이슈나 한계를 뒤늦게 알게 된다. 애자일 하지 않다. 결국 이루려는 일을 계속 뒷전으로 두니까.

   이 한계를 극복하고자 기획자, 디자이너, 개발자를 한 팀으로 묶고(크로스펑셔널), 문서는 핵심만을 서술하며(PRD),  과정에서의 이슈를 조기 발견한다(스크럼). 직렬연결을 병렬로 바꾼다. 전통적인 순서를 파괴한다  

 애자일한 지표?

   그럼 대체 지표가 애자일 하다는 건 무엇일까. 지표를 처음부터 보라는 걸까? 지표를 함께 검토하라는 걸까? 물론 지표가 무엇인지, 이를 보기 위해선 어떤 조치가 필요한지는 기획 단계에서 구상하고 팀과 논의해야 한다. 그래야 로그든 뭐든 설계하니까. 그러나 일하는 방식이 아닌 지표 자체가 애자일 하다는 건, 알고자 하는 것, 검증하고자 하는 것을 조금 더 먼저, 빨리 알게 해주는 지표라는 뜻이다.

   예컨대 고객의 만족 여부를 추정하기 위해 특정 페이지 방문 또는 기능 수행 이후 한 달 내 재방문율을 측정한다면 어떨까? 어떤 페이지, 어떤 기능을 기준으로 할 것이며 '재방문'의 정확한 기준은 무엇이며, N회를 인정할 건지 혹은 1번이라도 오면 인정하는지 등의 세부적인 조건은 잠시 잊자. 그럼에도 이 수치의 집계가 마무리되려면 한 달이 걸린다. '한 달 내' 재방문율이며, 29일 차에 재방문할 수도 있으니까. 그런데 인생에서의 한 달은 그리 길지 않은 시간일 수도 있지만 제품에선, 특히 MVP 단계에선 다소 길다. 적게는 두 번, 많게는 네 번의 스프린트(sprint)가 있을 수 있는 기간이다. 

   이 경우 알고자 하는 건 고객의 만족여부다. 행동을 통해 추정하는 게 더 정확하고, 또 여러 모습을 파악하고 새로운 인사이트를 얻을 수도 있지만, 굳이 꼭 한 달이 지나서야 알 필요는 없다. 방문 또는 기능 수행 이후 적절한 시점에 제품 내에서 만족도를 묻거나, 다시 인터뷰나 설문을 요청할 수도 있다. 또는 제품의 사용 패턴, 주기 등을 고려하여 굳이 한 달 뒤가 아닌 일주일 내 재방문율을 비교해 볼 수도 있다.

   애초에 지표에 정답은 없다. 지표는 늘 진리, 실체의 근사치일 뿐이며 추정과 추론은 필연이다. 그렇다면 충분히 질문에 답이 되고 가설을 검증할 수만 있다면, 금방 혹은 직접 알 수 있는 걸 나중에 또는 빙 둘러서 알 필요는 없다. 지표 역시 애자일의 대상이다.