데이터의 바다에서 살아남는 PO의 수영 방법 - 2편
데이터 바다의 첫 번째 파도, 데이터 수집
데이터의 바다에서 살아남는 PO의 수영 방법 1편을 쓰고 나서 거짓말같이 데이터의 함정에 빠졌습니다.
수집하는 목표를 명확하게 해서 설계하고, 데이터도 (나름) 잘 수집했는데 함정에 빠지고 말았습니다. 함정의 이름은 ‘각기 다른 해석’이었습니다.
함정이에요 함정! DATA의 함정이에요!제가 다니고 있는 회사에서는 데이터 분석을 위해 Amplitude라는 서비스를 이용하고 있는데, Growth Marketing팀과 대표님, 그리고 Product Designer도 함께 각자가 확인하고 싶은 데이터를 확인합니다. 데이터의 설계는 대부분 PO가 하고 있으니, 1명이 설계한 내용으로 각각 4개의 다른 해석이 나올 수 있는 시스템이죠.
이번에는 저와 다른 해석을 한 디자이너 분과의 미스커뮤니케이션이 살짝 있었습니다. 다행히 문제를 인지하고 빠르게 다시 align을 했기 때문에 큰 문제없이 더 일이 진행되기 전에 마무리할 수 있었습니다.
사실 해석이 다르다는 것은 굉장히 좋은 일입니다. 제가 놓칠 수 있는 관점을 리마인드 시켜주기도 하고, 새로운 인사이트를 주기도 하죠. 그리고 확증편향으로 인한 오류들을 줄여주는 역할도 합니다. 그래서 저는 다른 해석으로 인한 논쟁을 은근히 바라기도 합니다. 하지만, 이번과 같이 다른 해석으로 인해 방향성이나 섣부른 판단이 일어날 가능성도 언제나 존재합니다. 그리고 그런 일이 일어났을 때 방향성을 함께 다시 align 할 준비가 항상 되어 있어야 합니다.
그래서 데이터를 수집하는, 설계 단계에서 제가 계속해서 곱씹는 한 가지가 있습니다.
아무리 잘 설계해도 데이터는 해석의 범위를 벗어날 수 없다.
바로 아무리 수집을 잘해도 데이터는 결국 [분석과 해석의 영역이 존재한다]는 것입니다. 그래서 데이터를 수집한 후 해석이 갈라질 수 있는 모든 길로 갈라져도 수집 설계가 반드시 잘못된 것은 아니라는 마음을 갖는 것에 집중합니다. 그래야 방향성이 틀어지려고 할 때 객관적인 시선에서 팀원들과 방향성을 align 할 수 있습니다.
데이터 분석가가 없는 스타트업에서 데이터를 사용하게 되는 프로세스를 보면 크게 [설계 - 수집 - 분석 - 해석] 네 가지로 나뉩니다. 여기서 분석과 해석이 무엇이 다른지 궁금하실 수 있을 것 같은데, 분석에서는 수집된 데이터의 정합성이나 신뢰도를 판단하고, 해석의 단계에서는 다른 데이터들과의 상관관계, 시장이나 회사 상황에 대입하여 데이터를 정제합니다. 그렇기 때문에 두 개는 별도의 단계로 존재합니다.
문제는 대부분 이 해석의 단계에서 일어납니다. 해석하는 자리에 있는 사람이 제각기 가지고 있는 정보가 다르기 때문에 그렇습니다. 회사 내에서 모든 정보가 물같이 흐르고 공기같이 투명한 곳이라면 너무나도 좋겠지만...! 그래서 모두가 같은 해석을 할 수 있는 여지가 있다면 너무나도 좋겠지만...! 저는 아직 그런 곳은 본 적이 없습니다. 아마 이런 상황은 다 비슷하지 않을까요? (앞으로도 그런 곳을 찾을 수 있을지...)
있기는 있을테죠. 마치 아틀란티스 같은 존재...?어찌 되었든, 각자가 가지고 있는 정보가 다르면, 각자의 해석이 달라집니다. 대입할 수 있는 환경과 고려할 수 있는 경우의 수가 많아지기 때문입니다. 그러면 최악의 경우, 해석하는 사람에 따라 정말 양 극단의 해석을 내놓을 수도 있습니다.
그래서 모든 책임을 떠맡고 설계와 수집 단계에서 부담에 짓눌릴 필요는 없습니다.
물론! 이런 해석의 범위가 제각기 달라지지 않도록 T-test, R제곱값 산출, ANOVA 등 기초 통계학에서 배우는 내용을 접목시킬 수 있지만...
할 시간이 없습니다! 할 사람도 없어요! (그리고 저는 어떻게 하는지 기억도 안 납니다!)
그래도 해낼 수 있다는 게 노올랍구나!슬프지만, 그래서 스타트업입니다! 있는 리소스로 모두 해내야 합니다! 결국 개개인이 머릿속 있는 정보들을 끼워 맞추고, 그 가운데 의미 있는 해석을 해내려고 열심히 노력하는 것이 최선인 경우가 대부분입니다. 그렇다고 해서 모든 데이터의 해석이 무의미한가? 아니요, 그렇지도 않습니다. 사람의 촉이라는 것도 참 오묘하고 무서워서, 직관에 의한 데이터 해석이 실제 유저의 행동을 잘 해석하는 경우도 있습니다.
그 노력의 결과가 또 제각기 다른 것뿐, 설계와 수집을 한 PO가 모든 책임을 떠맡을 필요는 없습니다. 책임감을 갖고 설계하고 수집하는 것은 당연한 일이죠. 그렇지만 그 책임감을 갖고 PO도 열심히 노력했다면, 결과에 대해서는 함께 만들어간다고 생각하는 것이 개인에게도 그리고 팀에게도 건강할 것 같습니다.
저도 조금씩 조금씩 마음에 부담을 내려놓다 보니 데이터 목표 수립이나 설계와 수집도 점점 정교해지고 있습니다. 그런데 이 부분은 팀원들이나 대표님의 객관적인 피드백이 필요할 것 같기는 하네요... 자만하지 않겠습니다. 자만하기에는 데이터의 바다가 아직 너무 넓고 무한해 보이네요.
쓰다 보니 변명을 늘어놓은 것 같다는 생각도 드네요.
하지만 스타트업의 어쩔 수 없는 현실, 그리고 조금은 웃픈 현황입니다.
그래도 기존 시장에 어떻게든 다른 방법으로 가치를 제공하고,
새롭고 신선한 경험을 전달하려는 열정과 노력은 웃음거리가 되어서는 안 된다고 생각합니다.
이런 열정과 노력은 다른 사람이 해석할 수 있는 것이 아니라,
그 자리에 있는 자기 자신만이 알 수 있는 것 같습니다.
그렇기 때문에, 그 자리에 계신 모든 분들을 응원하고 싶습니다!
