나는 어떻게 데이터 사이언티스트 디시젼이 되었을까?
그저 내 길을 걸어가는 중간 단계일 뿐이다.
현재 회사에 처음 들어왔을 때 나는 머신러닝 엔지니어였다. 재밌게 모델을 만들며 살던 어느 날 회사의 중요한 지표가 하락했는데, 여기에 사람들이 많은 관심을 기울이지 않는 것을 관찰했다. 지표가 왜 하락했는지를 모르기 때문에 어떻게 상황을 개선해야 할지 의사결정하지 못하는 것 같았다.
이런 상황을 지켜보니, 데이터가 일상의 의사결정에 큰 영향을 줄 수 있다는 생각을 하게 됐다. 데이터라는 큰 분야에서 머신러닝 이외에 의사결정이라는 큰 분야가 있음을 깨달았다. 머신러닝은 특정한 곳에서 특정한 기능으로 엄청난 개선을 이뤄낸다면, 의사결정은 모든 팀원들이 매일매일 하고 있는 것이었다. 제품이란 팀원들이 매일 하는 의사결정으로 만들어져간다고 생각했다. 매일 모두가 하는 것을 조금이라도 더 잘하게 만드는 것도 큰 일이라고 생각했다.
그래서 자발적으로 해당 지표가 왜 떨어졌는지를 파악하려고 뛰어들었다. 머신러닝 모델만 만들어봤던 나로서는 모든 과정이 도전적이었다. SQL도 할 줄 몰랐고, DB나 이벤트에 대해서도 몰랐다. 단 하나의 지표의 하락을 알아내는 것인데, 그것을 알아내는 과정이 너무 어려웠다. 처음에는 나의 무능력을 탓했는데, 엔지니어 한 명이 이걸 알아내기 어려운 것은 나만의 문제가 아니라는 생각이 들었다. 누구나 하기 쉬워야 문제가 해결되지 않을까?
초반에는 활용할 수 있는 데이터가 부족한 게 문제라고 생각했다. 그래서 이벤트를 새롭게 정의하고 로깅하기 시작했다. 처음으로 네이티브 엔지니어분들과 붙어서 일하면서 많은 이벤트를 로깅하고 이런저런 분석을 했다. 하지만, 뭔가 부족하다는 생각이 들었다. 게다가 새로 들어오신 분들은 이미 있는 이벤트에 대한 맥락을 몰라서 분석을 하기 어려워했다. 내가 발견했던 문제보다 더 깊은 문제가 있겠다는 것을 직감했다.
또한, 데이터를 로깅하고 분석해서는 의사결정 과정이 크게 달라지지 않는다고 느꼈다. 왜냐하면, 회사가 뭔가를 만들고 배포하는 것에 익숙하다 보니 문제가 있을 것 같을 때만 이후에 로깅을 해서 살펴보곤 했기 때문이다. 일하는 문화를 전반적으로 바꾸지 않으면 우리의 의사결정 과정이 데이터만 더해진 채 똑같을 거라는 생각이 들었다. 게다가 사람이 점점 많아지고 사용자가 점점 많아지면서 의사결정 과정은 점점 더 복잡해지고 있었다.
그즈음, 실험이라는 문화에 대해서 접하게 되었다. 한 때 과학자라는 꿈을 꿨던 적도 있었기 때문에, 실험을 통해 가설을 검증하고 검증된 결과를 바탕으로 의사결정하는 문화가 매력적으로 보였다. 데이터가 핵심이 아니라 가설 검증이라는 구조가 핵심이라는 생각이 들었다. 그때부터, 프로덕트 팀에서 실험을 기반으로 일할 수 있는데 힘을 쏟았다. 처음에는 이 익숙지 않은 방식을 택하는 것을 부담스러워했다. 또한 실험을 하지 않아도 알 수 있는 것이 많다는 의견이 많았다. 하지만 실험을 하지 않고 배포를 했는데, 예상치 못하게 지표가 떨어지는 일들이 많아지면서, 점차 실험이 유용하다는 의견이 생겨났다.
초반 1-2년은 회사 내에 실험이 보편적으로 퍼지지 못했는데, 그 이유는 실험이 사실 어려웠기 때문이다. 어렵기 때문에 평소보다 더 많은 시간이 걸렸고, 한 번에 모든 배포 과정을 실험으로 바꾸는 것은 사실 너무 큰 변화였다. 회사 내에 PM 분들이 많아지며 실험을 하고자 하는 분위기가 생겼지만, 실험을 쉽게 하는 환경이 없었기 때문에 자연스레 퍼지지 못한다는 생각을 했다. 또한 실험을 통해 일하는 팀에 대한 눈에 보이는 사례가 없기 때문에 잘 퍼지지 않았다는 생각도 했다.
서비스가 점점 커지면서 결국 프로덕트를 만드는 팀도 그 성격에 따라 쪼개져야 한다는 의견이 생겨났다. 기존처럼 사용자 경험을 중시하고 경험을 디테일하게 개선해 나가는 팀이 필요한 반면, 지속적인 성장을 위해 실험을 기반으로 일하는 그로스팀이 필요하다는 의견이었다. 기존에 그로스TF를 잠시 운영해 봤던 경험으로 프로덕트팀 내에 별도 TF로 구성하는 방안에 대해서 리더와 이야기를 나눴기 그렇게 그로스TF가 만들어지게 되었다.
그로스TF에서는 분석을 통해 어떤 전략으로 서비스를 성장시킬지 방향성을 정했다. 서비스가 커지다 보면, 신규 사용자보다는 오랜만에 다시 돌아오는 사용자가 많아지는데 당시의 상황은 이 사용자 군이 빠르게 늘어나고 있는 상황이었다. 따라서 이 사용자 군이 오랜만에 다시 돌아오게 만들고, 돌아왔을 바로 그 순간에 매력적인 경험을 하게 해서 머물게 하는 전략을 택했다. 그 전략을 실제로 실행하려면 수많은 실험을 해야 한다고 생각을 했다
함께 하는 PM 분과 엔지니어 분들과 실험 프로세스를 만들고 가속화하는데 집중을 했다. 전사의 데이터 문제를 해결하자는 데이터TF가 생겨나면서, 데이터TF와 함께 누구나 실험을 쉽게 할 수 있는 실험플랫폼을 만들기 시작했다. PM 분은 실험 문서 템플릿을 만들고 운영하면서 동료 PM 분들에게 그 문화를 전파했고, 나는 실험플랫폼을 통해 많은 것을 자동화하면서 쉽게 실험할 수 있는 환경을 만들었다.
때마침, 앱의 공통의 영역에서 서로 다른 팀의 기능이 겹쳐지기 시작할 때였다. 한 팀 내에서 의견을 주고받을 때보다 여러 팀이 함께 같은 영역에 대해서 의견을 주고받을 때 훨씬 의사소통과 의사결정이 어려워졌다. 이럴 때, 지금까지 만들어왔던 실험의 문화와 실험플랫폼이 큰 역할을 했다. 관련해서 머리 아파하던 PM 분들이나 리더분들 그리고 디자이너 분들이 실험을 통해 명확하게 의사결정을 할 수 있게 됐다.
이제는 실험은 어느 정도 당연한 문화로 자리 잡게 되었다. 누구나 가설을 세우고 그 기반으로 실험을 해서 데이터로 명확한 인과관계를 추론할 수 있게 됐다. 현상을 관찰하고 문제를 정의하고 해결하는 과정에서 나는 머신러닝 엔지니어였다가 PM이었고, 데이터 분석가였다가 데이터 사이언티시트가 되었다.
순간순간의 목표는 과정이었고 과거로 돌아간다면 데이터 사이언티스트 디시젼이 되겠다는 생각은 전혀 안 했을 것이다. 즉, 나도 어떻게 되었는지 잘 모르겠다. 아마도 새로운 문제를 발견하고 목표를 추구한다면 또 다른 무엇인가가 되어있을 것이다. 그것은 삶을 살아가는 나의 여정 중의 중간 과정일 뿐이다.
