우리가 매일 데이터를 들여다봐야하는 이유
우리가 중요하다고 믿는 것들을 다르게 바라볼 수 있는 계기로 활용하기!
이유를 알 수 없는 답답함
처음으로 ‘담당하는 서비스'가 생겼을 때, 내 업무 능력도 그렇지만 가장 답답했던 건 ‘이유'였다. 어떤 과정을 통해 구매했는지, 우리가 의도한 대상이 아닌데 어떤 이유로 가입했는지, 갑자기 특정 기능을 많이 사용하는 이유는 무엇인지, 다운로드 수가 급증한 이유는 무엇인지 등 지표는 건강해지고 있는데, 그 이유를 자세히 알지 못하는 것에 대한 답답함이었다. 데이터를 들여다봐야 하는 이유는 잘 알고 있었지만, 어떻게 보고 해석해야 하는지 누군가 명확하게 알려줄 수 없는 상황에 대한 아쉬움도 함께 커졌다.
2014년 당시에는 지금처럼 데이터 분석 관련 강의가 다양하지 않았고, 데이터 중심의 의사 결정이나 그에 따른 사례를 확인하는 것 역시 쉽지 않았다. 그래서 초기에는 구글링 등을 통해 구글 애널리틱스 등에 대한 스터디를 사내에서 진행하기도 하고, 회사의 지원을 받아 강의를 들으며 기초 지식을 하나, 둘 쌓을 수 있었다. 툴을 다룰 수 있다면, 이유를 조금 더 명확하게 알 수 있고 이를 업무에 본격적으로 활용할 수 있을 거라 생각했지만 현실은 달랐다. 어떤 데이터를 들여다봐야 하는지 알게 되었지만, 이를 어떻게 활용할 것인지에 대한 논의가 부족했기 때문이다. 눈앞에 펼쳐진 데이터는 정말 다양했지만, 범위가 넓어 어디서부터 시작해야 하는지 역시 분명하지 않았다. 모든 데이터를 보기에 우리에게 주어진 시간이 많지 않다는 점도 컸다.
어떻게 들여다볼까, 함께 고민하기
그때 내가 담당하던 서비스는 노트 앱으로, 팀원들과 함께 우리가 설정했던 목표를 다시 한번 확인하는 시간을 가졌다. 사용자들이 만들어 내는 데이터가 있고, 이를 훑어볼 수 있는 기초 지식을 쌓았으니 이를 목표와 연결 짓는 과정이 필요하다고 생각했다. 바꿔 말하면, 우리가 집중할 수 있는 데이터 범위를 결정하고, 목적을 설정하는 것이 중요했다. 몇 가지 핵심 목표와 우리가 달성하기 위해 지금껏 해왔던 노력 그리고 아직 해결하지 못한 문제들을 함께 펼쳐봤다. 문제를 해결하기 위한 방법 중 하나로 데이터를 더 적극적으로 활용하기 위해서였다.
사용자 당 신규 노트 생성을 높이는 것이 목표고, 해결하지 못한 문제는 신규 가입 후 두 번째 노트를 추가하기까지 시간이 길다는 점이라고 가정해보자. 이때 노트를 추가하는 데 있어 시간이 오래 걸리는 이유는 무엇일까?부터 우리에게 어떤 데이터가 주어진다면 문제를 해결할 수 있을까? 데이터로 볼 수 없는 내용은 어떻게 수집할 수 있을까? 등 여러 질문을 서로에게 던지며 다양한 의견을 모으고 정리할 수 있었다. 이를 통해 목표 달성을 위해 해결해야 하는 문제를 어떤 데이터로 확인하고, 지표로 삼을 수 있을지 더 명확하게 정의할 수 있었다. 결과적으로 목표에 해당하는 핵심지표를 몇 가지로 압축해 팀 단위로 꾸준히 확인해야 하는 기준으로 삼게 되었다.
목표 달성을 위해 우리가 어떤 데이터를, 어떻게 보면 좋을지에 대한 팀 단위의 공감대가 형성되었으니, 이젠 정말 데이터를 맘껏 들여다볼 수 있을 거라 생각했지만, 아직 넘어야 할 산이 있었다. 먼저, 가설이었다. 가설은 검증 전, 우리가 어디에 초점을 맞춰 데이터를 확인하고, 잘했는지 아니면 개선이 필요한지 등을 판단할 수 있는 중요한 기준이 된다. 하지만 초기 우리의 가설은 서비스나 기능 중심이라기보다 개인의 주관적 판단에 의지하는 경우가 많았다. 이로 인해 가설의 범위가 넓어지는 것은 물론, 종종 목표와 관련 없는 가설이 단지 흥미롭다, 확인하고 싶다는 이유로 채택되는 경우도 일어났다. 그렇다고 팀원들이 다양한 관점에서 애정을 갖고 제안하는 의견(가설이라는 이름의)을 그대로 흘려보낼 수도 없었다.
그래서 우리는 축구 경기 스코어를 맞추는 것처럼 검증 전 기준이 아니라, 검증 후 ‘어떻게 될 것이다'라는 예측을 함께 해보기로 했다. 같은 기능이라 하더라도, 디자이너는 이건 특정 지표에 정말 중요한 역할을 할 거야!라고 말하는 경우도 있었고, 개발자는 이건 큰 의미가 없을 것 같다, 시간 낭비다 라고 말하는 경우도 있었다. 다만, 단순 예측은 큰 의미가 없기게 그렇게 생각하는 ‘이유'를 함께 말하기로 했다. 스포츠 경기도 누군가 이길 거라고 생각하는덴 어떤 선수가 출장할 거다, 최근 컨디션이 좋다 등의 근거가 늘 붙기 때문이다.
이는 생각보다 좋은 반응을 얻을 수 있었는데, 공통의 기준에 따라 설정한 가설에 대해 미리 고민하고 생각해볼 수 있는 시간을 팀에게 제공해줬기 때문이다. 예측했던 내용이 맞다면, 기능에 대한 데이터를 살펴보는 것과 동시에 팀원이 제시한 의견과 근거자료를 같이 보며 더 다양한 관점에서 들여다볼 수 있는 기회로 활용할 수 있었다. 틀렸다 하더라도 그 내용을 놓치지 않고 기록했으며, 다음에는 더 신중하게 예측할 수 있는 연결고리가 될 수 있었다. 더 중요한 건, 우리가 앞서 살펴본 데이터를 끌어와 근거로 삼고자 하는 문화로 이어졌다는 점이다.
데이터로 볼 수 없는 대상도 함께 고민하기
또 하나의 산은 데이터를 통해 확인할 수 없는 것들을 어떻게 해결할 것인지에 대한 논의였다. 당시 서비스 설정 화면 등을 통해 정기적으로 설문 조사를 진행하고 있었지만, 이 방법 하나로는 우리가 정말 원하는 데이터를 있는 그대로 확인하기 어렵기 때문이었다. 사용자 평가를 제대로 진행한 적 없었던 우리 팀은 일단 검색을 통해 우리에게 적합한 테스트 방법을 찾는데 몰두했다. 그중 사용자가 기능 등을 사용하며 실제로 겪을 수 있는 문제를 파악하기 용이한 방법을 우선순위로 삼았고, 진행 방법 등 세부 내용을 조금씩 구체화하는 시간을 가졌다. 구체화된 내용은 모회사 팀원들을 대상으로 몇 번씩 테스트를 진행하며 운영 팁 등을 추가할 수 있었고, 자주는 아니지만 중요한 업데이트가 있을 때 한 번씩 활용하며 로그 분석으로 볼 수 없는 데이터 등을 보완하는 목적으로 사용할 수 있었다.
지금도 내게 데이터를 들여다보는 건, 출근 직후와 퇴근 전 꼭 해야 하는 중요한 루틴으로 자리 잡고 있다. 로그 분석 툴로 볼 수 없는 데이터를 직접 들여다보기 위해 여러 방법들을 배우고 정리하는 것도 스스로의 몫으로 받아들이고 나름 즐겁게 진행하고 있다. 2014년 위자드웍스에서의 그런 노력이 없었다면, 부끄럽게도 지금까지 데이터를 얕게 생각하고 바라봤을 거란 생각이 든다. 마지막으로, 기획자에게 데이터가 어떤 의미를 갖는지 간략하게 정리하고자 한다.
데이터를 분석하는 이유에 대해 생각하기
(1) 설득의 근거
이보다 중요한 의미가 있을까 싶다. 설득은 크게 두 가지 대상을 갖게 되는데, 하나는 함께 일하는 이해 관계자들이며 또 하나는 우리 서비스 사용자이다. 먼저, 이해 관계자들과 문제 해결을 위한 논의를 한다고 생각해보자. ‘11. 팀의 공통 기준에 따라 우선순위 설정하기’에서 말한 것처럼 우선순위 등을 설정할 때 서로 공감할 수 있는 기준이 마련되어 있다 하더라도 우리는 단계 별 치열한 논의를 할 수밖에 없다. 가장 어려운 상황은 각자가 모두 ‘마땅한 근거'를 갖고 있지 않은 경우다. 근거가 있다면 서로 비교해보며 더 나은 결정을 상대적으로 쉽게 할 수 있지만, 주관적 기준을 바탕으로 이야기를 하다 보면 말을 잘하는 사람, 포기하지 않는 사람, 목소리가 큰 사람 등이 주도권을 갖기 쉽다. 감정이 상하는 상황으로 이어질 가능성도 높다.
하지만 그렇게, 이렇게 해야 하는 이유를 데이터를 기반으로 정리해가면 이야기가 달라진다. 이런 데이터와 앞선 사례 등을 바탕으로 했을 때, 우리가 해당 기능을 먼저 업데이트할 경우 주요 지표가 올라갈 수밖에 없다 등의 내용을 정리해가면 어떨까? 근거를 바탕으로 한 이야기는, 다시 근거가 있는 이야기로 돌아올 수 있으며 커뮤니케이션 방향 자체가 달라질 수밖에 없다. 데이터를 온전히 객관적이라고 볼 순 없지만, 단순 주관적 의견에 비해서는 상대적으로 설득력이 높아진다. 때문에 데이터를 꾸준히 들여다보며 왜 그럴까?라는 단순한 질문으로 시작, 다양한 논의에 필요한 답을 하나씩 발견하는 용도로 활용하는 습관을 조금씩 쌓는 것이 중요하다.
(2) 우리가 잘했는지 확인하는 기준
기획부터 개발, 테스트 등 여러 단계가 잘 맞물린다 하더라도 우리의 예상 그대로 사용자들이 받아들이긴 쉽지 않다. 버튼을 하나 추가했을 뿐인데 복잡하다는 의견이 쏟아질 때도 있고, 중요하지 않은 기능이라는 판단에 별도 안내를 제공하지 않았음에도 사용자들이 알아서, 적극적으로 사용하는 기능도 있다. 그럴 때 데이터는 더없이 중요한 역할을 해준다. 원했던 지표에 영향을 줬는데, 우리 생각과 다르게 흘러가거나, 가설이나 근거자료까지 모두가 공감했는데, 반응이 별로 없는 등의 상황에서 우리가 무엇을 잘했고 놓쳤는지 어느 정도 파악할 수 있기 때문이다.
다만, 우리가 늘 고려해야 하는 것은 보고 싶은 그대로 데이터를 해석하는 것이다. 이렇게 됐으면 좋겠어!라는 바람을, 데이터를 분석하는 과정에 밀어 넣으면 수치를 잘못 보거나, 계산 과정에 문제가 발생할 수 있다. 누군가 바로잡아 주지 않으면, 다음 의사 결정에도 영향을 줄 수 있기에 정리된 데이터는 꼭 함께 확인하거나, 영향을 준 변수 등이 없는지 다시 한번 확인하는 과정을 거쳐야 한다. 데이터를 ‘볼 수 있는' 수준으로 만들어주는 툴은 점점 발전하고 있지만, 이를 해석하고 정리하는 건 여전히 사람이 하는 일이라는 사실을 잊지 않았으면 한다.
(3) 진짜 중요한 것이 무엇인지 판단하는 기준
이미 3년 넘게 운영 중인 서비스를 담당하게 되었을 때, 인수인계를 받으며 팀에서 중요하게 생각하는 지표를 함께 확인한 적 있다. 처음엔 3년 넘게 중요하게 생각해왔고, 실제 서비스가 매출도 꾸준히 오르던 상황이라 크게 중요하게 생각하지 않았는데, 사용자들과 실제 만나 인터뷰를 진행하며 우리가 생각하는 중요한 지표와 사용자들이 실제 사용하는 기능에 따른 지표가 다르다는 사실을 알게 되었다.
예를 들어 사용자들은 본인들의 활동에 따라 수익과 연결되는 캠페인 진행 횟수를 중요하게 생각한 반면, 서비스 입장에서는 선택 가능한 캠페인 수를 중요하게 생각하고 있었다. 이 둘을 다시 정리해 팀원들에게 전달했고, 나는 사용자 한 명이 더 많은, 본인에게 맞는 캠페인을 선택해 진행할 수 있도록 일종의 ‘퀘스트’ 기능을 제안했다. 직접 선택한 캠페인 수가 많아질수록 활동 폭도 넓어질 거란 가설을 바탕으로 기능을 업데이트했고, 이를 바탕으로 실제 사용자당 진행 캠페인 수와 획득 포인트를 높일 수 있었다. 이처럼 데이터는 우리가 중요하다고 믿는 것들을 다르게 바라볼 수 있는 계기를 마련해준다는 점에서 더 중요하게 생각하고 바라봐야 한다고 생각한다.
2023년 07월, 제 첫 도서가 출간되었어요. 제목은 ’10년 차 IT 기획자의 노트’입니다. 브런치 '기획자가 일하는 방법'을 시작하게 된 이유는 사수 없이 일하는 어려움을 저보다 조금 늦게 출발한 분들이 덜 느꼈으면 하는 마음 때문이었는데요. 같은 맥락에서, 9개 노트(기록)를 바탕으로 기획과 PM의 주요 업무를 어떻게 하면 좋을지 정리한 내용입니다. 아래 링크를 통해 자세한 내용을 확인하실 수 있어요!
