분석가니까, 분석을 해보자!
회고인 것 같지만 회고는 아니면서 회고하는 글
지난주에 팀 내에서 진행했던 분석 포커스 위크 기간이 끝났다. 이번에 진행했던 분석 포커스 위크는 지난 분기에 진행했던 분석 페스티벌�보다는 좀 더 작은 스콥으로 진행하긴 했지만, 한 주 반 정도 실험 설계, 지표 개발, 대시보드 설계보다는 좀 더 분석에 집중하면서 팀 내 분석 프로세스를 잡아가는 시간을 가졌다. 이번 분석 포커스 위크에는 저번 분석 페스티벌과 동일하게 "본인이 하고 싶은 분석 주제"를 골라 분석을 진행했다. 조금 달라진 부분이 있다면 저번 분기에는 분석 페스티벌 이전에 약 일주일 정도의 시간을 가지고 프로덕트 팀의 팀원들에게 '평소에 궁금했던 리스트'를 모아보는 시간을 가진 후 그중에서 주제를 골라 디벨롭을 했지만, 이번에는 정말! 내가! 이걸 봤으면 좋겠는데?라고 생각했던 주제를 직접 골라야 했었다.
Chapter 1. 분석 주제 정하기
프로덕트와 긴밀하게 일을 하는 분석가라면 (a.k.a 목적조직 내 분석가 a.k.a. 프로덕트 분석가) 담당하고 있는 프로덕트의 문제점이 어딘지 그리고 그 문제점의 우선순위에 대해 알고 있기 때문에 분석 주제를 선정하는 게 어렵지 않을 수도 있다. (분석이 어렵지 않다는 건 아니다. 절대로. 주제 선정이 어렵지 않다는 거임!!!!!!!!!!!) 하지만 전사적인 관점에서 데이터를 보고 있는 분석가로서
(1) 현재 '문제'라고 생각하는 것과
(2) 가장 시급한 것을 찾아서 분석 주제를 잡는 건
여러 배경 상황이 없는 상태였기 때문에 조금은 어려웠다. 이번 분석 포커스 위크를 진행할 때 가장 염두에 두었던 단어는 'Actionable'이었다. 해당 분석을 통해 무언가를 알아가는 것뿐만 아니라 이 분석의 결과로 이후 어떤 액션을 할 수 있을지 도출하는 것까지 생각하다 보니 가장 우선적으로 해결해야 하는 문제에 대해 분석해야 한다는 생각이 들어 이번 분석 포커스 위크에는 '주제 잡기'에 가장 많은 시간이 들기도 했고 기존에 분석을 하기 전 문제 정의부터 시작했던 순서와는 다르게 분석 집중 주간을 크게 챕터 1, 2로 나눠 아래와 같은 방식으로 주제를 잡고 분석 진행을 하고자 했다.
Chapter 1. 분석 주제 정하기
(1) 큰 주제 정하기
(2) 주제 내에서 키워드 뽑기
(3) 뽑은 키워드에 대해서 한번 조사해 보기
(4) 문제 정의하기
(5) 검증할 가설 도출해 내기
처음에 팀원들과 함께 큰 주제에 대한 이야기를 함께 이야기하는 시간을 가지면서 약 4-5개 정도의 큰 주제에 대해 이야기하는 시간을 가졌고 피드백을 거치면서 주제의 방향성을 잡아갔다. 이후 이야기를 하면서 가장 맘에 들었던 주제의 키워드를 가지고 노션, 슬랙 내에서 이 키워드에 대해서 조사하는 시간을 가졌다. (아.. 논문을 쓸 때 선행 연구를 찾아보던 내 모습이 기억났다.) 해당 키워드를 가지고 논의가 되었던 스레드 등을 확인한 후 문제 정의를 시작하며 생각의 흐름을 정리하면서도 가장 중요하게 생각했던 건 '이 분석을 한 후 다음 step에서 우리가 어떤 걸 할 수 있을까?'였다.
보여줄 수 있는 게.... 이.. 것밖에는.. 없다..... 이렇게 키워드에 맞춰 머릿속에서 떠오르는 생각을 이것저것 적으면서 정리하다 보니 문제 정의에 대해서 자연스럽게 진행이 되었고 이 포커스 위크를 통해서 검증해야 하는 가설이 도출되었다. 이런 생각의 흐름을 기반으로 팀 내에서 사용하고 있는 분석 템플릿에 맞게 배경, 목적, 그리고 기대 효과에 대한 정리를 진행했다.
Chapter 2. 분석하기
분석 주제를 정했으니까 이제 분석의 반 이상이 진행되었다.(시작이 반이다.) 일주일이라는 기간 안에 검증하고자 하는 가설이 나왔으니, 이제는 이 가설을 어떻게 검증할 건지, 어떤 방식으로 검증할 건지, 그리고 어떤 데이터를 보고 구조화시켜 볼건지 마지막으로 분석 결과는 어떻게 되었는지 확인하는 일이 남아있었다.
Chapter 2. 분석하기
(1) 데이터 정의 & 모델링하기
(2) 분석 방법 계획하기
(3) 분석하기
(4) 결과 도출하기
(5) Next Action 제안하기
가설 도출 후 개인적으로 가장 중요하다고 생각하는 단계는 '정의' 단계이다. 분석 내에서 쓰일 각 용어에 대해 조작적 정의가 명확하게 되어있지 않다면 이후 해당 용어에 대해 서로 다르게 이해하는 부분 때문에 커뮤니케이션 코스트가 2배 이상 들 수 있다. 또한, 조작적 정의를 진행하면서 사용하는 데이터의 '대상' 및 '기간' 또한 명시해주어야 한다. 이때 나는 주로 내가 분석에 사용할 데이터와 이 데이터를 추출할 기간을 선정할 때 이 조작적 정의만을 보고도 '음 그렇군!'이라고 바로 이해할 수 있도록 이유를 명시해 두는 편이다. (분석 결과에 대한 신뢰성 +1)
데이터 정의를 진행하고 나서, 사용하고자 하는 데이터에 문제가 없다면 분석을 좀 더 효율적으로 할 수 있도록 DBT라는 툴을 통해 데이터 모델링을 진행했다.(팀 내에서 데이터 모델링을 위해 DBT 툴을 도입했다. 처음에는 어려웠지만 사용하면 사용할수록 편리한 툴이어서 이후 한 번쯤 꼭 DBT 적응기에 대해 소개해보고자 한다.) 모델링을 함과 동시에 해당 가설을 검증하기 위해서 어떤 분석 방법을 쓸지에 대해 계획을 진행했는데, 이는 분석 방법에 맞는 데이터를 구조화하기 위해서였다. 즉, 가설 검증이 유저의 기준인지 혹은 게시글의 기준인지에 따라 구조화되는 데이터의 기준이 달라지기도 하고, 분석 방법에 따라서도 구조화의 방향성이 달라지게 된다. 예를 들어, 시계열 분석 방법을 통해 가설 검증을 진행하고자 한다면 그에 맞도록 데이터를 구조화해야 하고, 유저별 비교(t-test 혹은 ANOVA 등)를 이용한다면 그에 따라 구조화를 진행해야 하기 때문에 데이터 모델링과 분석 방법 계획을 주로 동시에 하는 편이다.
데이터 모델링 그리고 분석 방법에 대한 계획이 다 진행된다면 이제는 분석을 하는 일만 남았다. 이번 분석 포커스 위크에는 팀 내에서 도입한 Deepnote라는 분석툴을 가지고 분석을 진행했다. Deepnote는 이번에 처음 써보는 툴이었는데 Bigquery 테이블을 직접 쿼리 쳐서 가지고 오기도 편하고, 기본적인 시각화 또한 편하게 할 수 있어서 만족도가 높은 툴이었다. (역시 돈 최고)
요리조리 분석을 진행하고, 가설을 검증하고, 도출된 결과를 정리하고, 그리고 그 결과를 기반으로 Next Action을 제안한 후 정리한 문서를 팀원들에게 피드백을 받으며 이번 분석 포커스 위크도 무사히(!) 끝이 났다. 피드백을 받으면서 아! 이 부분을 내가 놓쳤지, 이게 진짜 아쉽네 라는 부분도 많았지만 이번에는 그래도 짧은 시간 내에 문제 정의 - 가설 도출 - 데이터 모델링 - 분석 - 가설 검증 - 결과 도출 - 제언 이 하나의 이터레이션을 돌았다는 것 자체에 의의를 두고 내 어깨를 한번 소심하게 토닥거려 보고자 한다. (잘했당 나 자신) 이제 나도 나만의 분석 프로세스를 찬찬히 정립해 나가는 것 같아 뜻깊던 시간이었다.
회고인데 회고 아닌 척하는 회고
사실 이번 집중 기간에는 저번에 한번 해봤던 거니까 부담스럽지 않겠지 라는 생각을 했는데 그래도 조금의 부담이 있었나 보다. 겉으로 표현되지는 않지만 은근 스멀스멀 올라오는 두려움이라는 감정이 잠깐씩 뿅! 하고 나오기도 했으니.
저번에 글또 글을 쓰면서 '사람은 편향이 있을 수밖에 없고 그를 위해서는 통계적인 방법을 통해 최대한 편향을 줄여나가야 한다'라는 글을 썼다. 그 글을 쓴 후 분석 집중 기간을 가져서 그런지는 몰라도 분석에 꼭! '통계적인 방법'이 들어가야 한다라는 강박관념에 사로잡혀 있었다. 그래서 가볍게 볼 수 있던 것도 너무 통계! 통계! 통계!!!!! 에 빠져 복잡하게 생각하고 있었던 것 같다. 이런 고민을 팀원들에게 이야기하니 너무 복잡하게 생각하지 말라던 팀원들 덕분에 2일을 고민하던걸 2시간 만에 해결했다.
역시 내 빈틈을 채워주는 건 팀원들이다. 팀원들과 분석 이야기를 하다 보면 사람이 어떻게 이렇게 똑똑할 수가 있지!라는 생각을 많이 한다. 그러니 도움 받는 걸 두려워하지 말자.
역시 쓸데없는 경험은 없다. 그래도 논문 한번 써봤다고, 선행 연구 한번 정리해 봤다고, 키워드 가지고 검색하는 건 어렵지 않게 잘하는 거 같다.
Actionable에 집중해야지,라고 했지만 이 분석을 통해 Next Action이 정말 있을 것 같지는 않아 좀 속상하다 다음번에는 좀 더! 이 부분에 집중해야 할 것 같다.
결과는 달라도 문제를 해결하고자 한건 맞으니까! 또 이렇게 한번 더 성장통을 겪으면서 0.1 정도 성장한 나는 또 다른 성장통을 경험하기 위해 다음에도 똑같이 해결할 문제를 찾아가겠지.
