서비스의 다양한 지표를 만들고 나서, 그 지표들을 한 대 모아놓은 대시보드를 만든 적이 있다. 그 대시보드를 만들고 나서 한 2일 정도 그것만 바라보며 이 대시보드가 사용자들에게 어떤 가치를 제공하는지 생각해보았다.
처음에 든 생각은 뭔가 유의미한 지표들이 예쁘게 정렬되어 있지만 그래서 이 정보들을 어떻게 해석해야 하는지 알 수 없다는 것이었다. 일별 유저 유입 수, 리텐션 등 의 수치들이 이런저런 트렌드를 보이지만 아래와 같은 생각만 머리를 맴돌았다
그래서, 뭐?
지표 트렌드가 하락세를 보이면 "서비스가 뭔가 문제가 있구나"라는 모호하고 추상적인 생각은 들지만 그래서 이게 왜 일어났고 또 고객들에 대해서 무엇을 의미하는지 알 수 없었다.
하락세를 보이는 지표와 연관된 지표들을 보며, 그 사이에서 어떤 패턴이 있는지 찾아보았다. 하지만 그렇게 찾은 지표들 간의 연관성이 서비스에 대한 획기적인 인사이트를 주는 것도 아니었다.
예를 들어 유저 서비스 진입 수가 하락하고 있는데 전체 인입 유저 중 회원가입 유저 수 또한 떨어지고 있다고 해보자. 그러면 뭔가 느낌이 온다. "서비스의 매력이 떨어지고 있나?"라는 생각이 든다. 하지만 그 생각을 더 체계적이고 실현 가능한 인사이트로 발전시키기 어렵다. 정말로 서비스의 문제인지 아니면 시기적 문제인지, 서비스 문제라면 뭐가 문제인지 질문들이 추가로 떠오른다. 모두 기존 데이터로는 확실히 정답을 내리기 어려운 질문들이다. 그렇기에 이런 질문들은 실행 가능한 계획이 아닌 현 상태에 대한 침묵과 낙담만을 불러일으킨다. 머리는 안개 낀 듯 흐리고 의욕은 사그라든다.
위와 같은 과정들을 겪으면, 데이터에 대해 좌절만 남아 데이터 프러덕트 생산자를 괴롭힌다. 모두들 데이터가 가치 있다고 말한다. 그리고 나는 그 말을 지겹도록 들었고 또 해왔다. 그런데, 그렇게 고생해서 만든 지표들과 대시보드들이 서비스에 아무런 영향을 끼치지 못하고 사그라드는 것을 몸소 체험한다면, 그리고 그에 대한 해결책이 나에게 없을 때, 우리는 데이터를 포기한다.
내가 대시보드를 만들었지만, 어떻게 써야 할지 모르겠다
다른 사람들이 내가 만든 대시보드를 잘 활용하지 못할 때는 그 사람들을 탓할 수 있었지만, 내가 직접 사용까지 해보며 이를 서비스에 적용시키기 정말로 난해 하다는 것을 몸소 느끼니 무언가 해결책이 필요하다는 것이 가슴 깊이 와다았다. 누구도 답을 모르고 또 해결하기 꺼려하는 문제라고 생각했다. 데이터를 울부짖는 이 산업에서, 누가 자신이 데이터 쓸 줄 모른다고 말할 용기가 있을까
누가 감히 "나는 이 데이터들을 어떻게 사용할지 몰라" 용감히 말할 수 있을까
그래서 곰곰이 생각을 해본 결과, 대시보드라는 것의 특징을 정의해보았다. 대시보드는 보통 정적인 형태로 만들어져 있다. 그 대시보드를 통해 꼬리에 꼬리를 무는 질문들을 해결할 수 없다는 말이다. 이는 다시 생각해보면 대시보드는 서비스의 전반적인 현 상황에 대하여 트렌드 및 아웃라이어를 발견하고 관측하는데 도움이 되지만, 그 관측을 통해 파생된 질문에 답을 주는 것이 주목적이 아니란 뜻이다. 물론 대시보드의 데이터를 기획에 사용할 수는 있지만, 그때에도 대시보드의 데이터는 참조 자료 혹은 가설 제기의 기반 자료가 될 뿐 서비스 개선의 필요성에 대한 확실한 답을 주는 데이터가 되기는 어렵다고 본다.
예를 들어 내가 자동차 산업이 가라앉고 있다는 것을 몸소 느끼고 있다고 해보자. 그러고 나서 우리 자동차 보험 서비스의 잔반적인 상태에 대한 대시보드를 보니 보험가입 고객 수 또만 떨어지고 있다. 혹은 올라가고 있을 수도 있다. 이에 근거하여 우리의 자동차 보험 서비스가 산업 트렌드에 어떤 영향을 받았는지 혹은 왜 받지 않았는지 이런저런 가설이 떠오른다. 딱 여기까지가 대시보드의 역할이라고 할 수 있다. 그리고 이 과정만 제대로 해도 수많은 기획의 시발점을 얻을 수 있다고 생각한다
대시보드의 역할은 관측과 문제제기까지이다
그렇다면 대기업들이 콘퍼런스에 나와서 마르고 닳도록 말하는 "우리는 데이터로 고객의 만족을 이렇게나 끌어올렸다!"는 어떻게 해야 하는 것일까?
개인적인 생각으로는 추천 시스템, 혹은 서비스의 근간이 되는 기능의 성능 계선을 제외하면 그런 케이스는 사실 판타지와 같다고 생각한다. 더 정확히는, 자사 서비스의 데이터가 검증 및 효과 측정, 그리고 가설 제기에는 영향을 주었을지언정 그 데이터 자체가 무언가 마법처럼 기가 막힌 서비스를 만들었다고 하기는 어렵다. 즉, 다소 실망할 수는 있지만 어떤 스타플레이어가 나타나 데이터만 가지고 서비스를 혁신으로 이끈다고 생각하지 않는다. 오히려 데이터가 잘 갖추어져 있고, 그 데이터를 어떻게 사용해야 하는지에 대한 가이드라인이 있고, 그리고 그 데이터를 자유롭게 수시로 사용하는 문화가 서비스의 혁신을 점차적으로, 하지만 확실히 이끈다고 생각한다
콘퍼런스에서 대부부의 혁신적 데이터 사용기는 그냥 자랑일 뿐
문제는 오히려 데이터만 사용하면 무언가 똬! 하고 만들어지는 판타지가 데이터를 사용하는 문화를 만드는 것보다 실행하기(성공하기가 아니다) 쉽다는 것이다. 전자의 경우 그냥 데이터 분석가 한 명 고용해서 "너의 가치를 증명해라!" 하고 그냥 놔두면 된다. 그렇게 하느것이 전자의 목표에 맞는 실행이기 때문이다. 물론 백이면 백 실패한다.
후자의 경우 데이터 인프라, 데이터 사용 교육 및 가이드라인, 데이터 사용 문화 정착 등 생각하고 진행해야 할 문제들이 수 없이 많다. 성공의 정의가 무엇인지, 지금 잘해 나아가고 있는 것인지, 데이터에서 가치가 창출되고 있는지 이리저리 헤매고 부딪힌다. 하지만 이럴 과정이 느리지만 확실한 성공의 가도라고 생각한다