데이터 세계로의 첫 걸음 by. 디자이너
힙한 데이터의 비밀 1기 참여 회고
브런치 연재 시작, 이직 등으로 정신없이 지나갔던 2021년이었습니다. 2021년에 했던 일들을 되돌아보던 중, 저에게 한 경험이 특히 의미 있게 다가왔습니다. 바로 작년에 참여했던 “힙한 데이터의 비밀”이라는 챌린지에서 얻은 경험이었죠. 모두가 데이터의 중요성을 외치는 시대에 디자이너인 저도 데이터를 잘 볼 줄 알아야 한다는 압박감이 있었습니다. 그래서 홀린 듯이 참가 신청을 했지요. 물론 데이터 초보인 저는 8주간 케이스를 풀며 많은 어려움을 겪었습니다(정말 밤마다 자책했습니다ㅠ). 그렇지만 그 과정에서 얻은 것도 많아 조금은 성장하지 않았나 싶습니다. 또한 함께 참여하신 분들에게도 좋은 영향을 많이 받았습니다. 그래서 이 경험을 회고해 보고 또 공유해 보려 합니다.
힙데비가 뭔가요?
힙한 데이터의 비밀(줄여서 힙데비)은 힙한 서비스의 비밀이라는 프로덕트 챌린지를 주관하고 있는 힙니버스에서 만든 또 다른 챌린지입니다. 데이터를 보는 시각을 키우기 위한 챌린지이며, ‘적절한 데이터(right data)를 봐야 적절한 판단(right decision)을 한다’라는 모토에서 시작되었다고 합니다. 챌린지는 아래와 같이 진행됬습니다.
힙데비 챌린지 (총 8주)
매주 월요일마다 힙데비 슬랙에 Case Study가 올라온다
토요일 밤 12시까지 Case Study에 대한 답과 생각을 슬랙 채널에 올린다
다른 멤버들이 작성한 것들도 읽어보고, 피드백한다
내가 올린 답과 생각에 대해 멘토분들의 피드백을 받는다
+) 중간중간에 허니토크, 케이스 해킹 스터디, 벙개 세션 등 보너스 세션들이 있었습니다. 주로 데이터 기반으로 일을 하는 사람들을 위한 꿀팁(?)이나 알아두면 좋을 지식 그리고 케이스에 관한 내용으로 세션들이 구성되었습니다.
챌린지에는 주로 업무에서 데이터를 통해 의사를 결정하는 PM, PO, 기획 분들이 많이 참가하셨습니다. 그리고 데이터 분석가, 마케터 그리고 저와 같은 프로덕트 디자이너 등 다양한 직군의 분들도 뵐 수 있었습니다.
내가 생각했던 데이터를 공부하는 나의 모습과 실제 나의 모습 ㅠㅠDo & Don’t! OT 시작과 함께 동공지진
드디어 OT 세션, 두근거리는 마음을 가지고 참가했습니다. OT 에서는 힙데비 운영방식과 그에 관한 취지를 들을 수 있었습니다. 그리고 힙데비 신청 시 사전에 제출했던 문제*들의 답안을 살펴보며, Do & Don’t를 설명해 주셨지요. 순간 가슴이 철렁했습니다. 제가 사전에 제출했던 답이 정확히 기억은 나지 않았지만 마치 Don’t의 사례 중 하나가 제 답인 것 같았습니다. 어렴풋이 기억나는 저의 답은 지금 생각해보면 굉장히 모호했습니다. ‘그래서 어떤 지표를 봐야 하는 것이지?’라는 의문이 들겠지요. OT를 통해 제가 정말 모르는 것이 많다는 것을 다시 한번 느끼게 되었습니다. 하지만 좌절은 금물, 우리의 친절한 힙데비는 케이스 작성에 도움이 되는 가이드를 주셨습니다. 기억에 남는 것을 몇 개 적어보면,
1. 지표를 쓸 때는 분모와 분자를 최대한 정확히 정의하자
2. 데이터 분석가에게 줄 거라 생각하고 최대한 자세하게 작성하자
3. 정확히 정의하는 팁: 더 자세하게 뜯어보고, 더 구체적으로 (예시: 이탈률이라면 이탈률을 어떻게 정의할 것인가? 90일 동안 한 번도 로그인하지 않는 유저 등)
4. 허상 지표 대신 실질 지표를 찾아야 한다
5. 고객 세분화, 코호트 분석 등등….
챌린지를 할 때 가장 도움이 됐던 내용은 1번, 2번이었습니다. 답을 최대한 자세하게 정의하려 노력했고, 그 때문에 다양한 고민을 했습니다. 그 고민 덕분에 하나의 유효한 데이터가 나오기까지 얼마나 많은 고려가 필요한지 알게 되었다고 생각합니다. 아무튼 OT 덕분에 힙데비에 참여하기를 잘했다 생각했고, 앞으로의 여정이 더욱 기대되었습니다.
*신청서에 간단한 데이터 케이스가 있었고, 이에 대한 답을 신청서와 함께 제출해야 했었습니다.
*힙데비의 멘토들은 도비, 멘티들은 데비 이렇게 불렀습니다. 도비의 뜻은 ‘도와주는 데비’입니다. 귀엽지 않나요?
이거 아닙니다...8주 간의 케이스
저의 데이터 경험을 참고로 말씀드리자면 굉장히 초보 수준입니다. 초기 스타트업에서 일했을 땐 한 퍼널의 이탈률과 전환율을 측정하기 위한 이벤트 값 지정, 그리고 그 지표를 추적한 경험이 있었습니다(feat. 마케터). 물론 지금 생각해보면 아주 많이 엉성했던 지표 추적 경험이었지요. 다행히 지금의 회사에는 유능한 DA 분들이 계셔서 편하게 주시는 지표를 받아먹는(?) 입장입니다. 데이터에 관한 공부는 해본 적이 없으며, 업무에 도움이 될 만할 아티클을 종종 찾아서 읽는 게 전부였습니다. 한마디로 실무에서 쓰이는 데이터 용어나 개념은 아주, 조금은 아는 정도의 경험치라고 할 수 있겠지요. 그런 데이터 초보였던 제가 8주간의 케이스들을 어떤 식으로 풀었는지 간단히 정리해 보았습니다.
1주차: 나의 프로덕트를 데이터 관점에서 접근해 보기
어떻게 접근했을까: 지금 생각해보면 정말 두서없이 지표를 적어냈습니다. 저의 뇌피셜에 의해 ‘이 지표는 중요할 거야!’라고 생각했던 지표들을 나열해서, 의미가 겹치는 지표도 있었습니다.
도비님의 코멘트: 매칭률과 수요/공급 균형도에 관해서도 살펴보면 좋을 것 같다는 의견이 있었습니다. 추가로 수요/공급 균형도를 측정할 기능(검색, 북마크)이 부재하면 놓치게 되는 점들에 대해 말씀해 주셨습니다.
2주차: 지표 설정해 보기 (배민 홈 화면)
어떻게 접근했을까: 홈 화면의 기능 정의에서부터 시작하여 가장 중요한 지표 설정을 했습니다. 그리고 개선 방향을 설정하기 위한 데이터는 사용성(usability)과 각 메뉴의 임팩트 측정 두 가지 측면으로 접근했습니다.
도비님의 코멘트: 정말 너무나도 상세하고 주옥 같은 코멘트가 달렸습니다. 제가 놓쳤던 부분들(다음 화면이면 어디가 다음 화면?, 이탈은 어떻게 정의? 등)을 하나하나 집어주셨고, 저의 질문(데이터를 어느 기간 동안 봐야 할까)에 대한 답도 함께 달아주셨습니다. 힘내서 코멘트에 대해 다시 한번 생각해봤어야 했는데, 저에겐 어렵고 + 당시 바빠서 그러질 못했습니다. 복습의 기회를 날려 버린 것 같아 지금 생각하니 너무 아쉽습니다.
3주차: 데이터 구조화-1 (콴다 프리미엄 구독)
어떻게 접근했을까: 솔직히 정말 어려워서 가장 많이 헤맸던 케이스였습니다. 하지만 그래서 얻은 것도 많았습니다. 저는 유저의 퍼널을 만들고 그 퍼널에서 측정할 지표를 정의했습니다. 그런데 Hierachy를 그릴 때 재구독 유저를 고려하지 못했고, 빠진 부분도 많았습니다. 그리고 지표 breakdown이 특히 어려워서 그랬는지, 답을 상당히 간결하게 작성했습니다(아쉽ㅠ).
도비님의 코멘트: 리텐션의 측정 방법에 대해 피드백을 주셨고, 제가 만들었던 불명확 했던 가설에 대해 조금 구체화 해보는 게 어떻겠냐고 의견을 남겨주셨습니다. 그리고 역시 제가 놓치고 있던 부분(구독 해지 이후 다시 돌아오는 유저)에 대해서도 언급해 주셨습니다.
4주차: 데이터 구조화-2 (콴다 프리미엄 구독)
어떻게 접근했을까: 지표의 데이터를 개선하는 것을 목표로 잡고 그것과 관련 있는 metric의 데이터를 추적하는 방향으로 케이스를 접근했습니다. 그리고 가상의 문제를 정해 그것을 해결하기 위한 가설 설정, 봐야 할 데이터, 데이터 해석과 액션을 정리해 놓았습니다.
도비님의 코멘트: 이번에도 역시 저의 지표 정의는 엉성했고, 그것에 대해 기준을 더 정의해 보는 것이 어떻겠냐는 피드백이 있었습니다(e.g. 이탈의 기준, A/B 테스트에서 모그룹을 정하는 기준, CVR의 기준, 리텐션 증가의 기준 등). 제가 당시 달았던 코멘트를 지금 보니, 보강했다고 하지만 아직도 정의한 기준이 미숙하네요. 주르륵...ㅜ
5주차: OMTM(가장 중요한 한 가지 지표)과 같이 봐야할 Key Metric 정의하기 (스푼 라디오)
어떻게 접근했을까: 스푼라디오가 온보딩 후 유도하는 액션들을 따라서 그대로 저의 지표에 대입했습니다. 그리고 OMTM을 높이기 위한 가설 설정과 실험 설계도 보너스로 해봤습니다.
도비님의 코멘트: 추가로 생각해 볼 하위지표와 왜 이 지표가 중요한 것이고, 어떤 액션을 기대하는지, 그 액션을 어떻게 측정할 수 있을지 등 하나의 데이터를 중심으로 확장될 수 있는 것들에 대해 피드백을 해주셨습니다.
6주차: A/B 테스트 지표 설정 (쿠팡 이츠 검색)
어떻게 접근했을까: 가설을 하나 설정해서 그 가설을 검증하기 위한 지표와 추가로 확인해야 할 지표들을 정의했습니다.
도비님의 코멘트: 설정한 지표들을 어떻게 우선순위를 매길 수 있는지 생각해 보면 좋겠다는 피드백과 A/B 테스트에 관한 아티클을 추천해 주셨습니다.
7주차: A/B 테스트 결과 분석 (쿠팡 이츠 검색)
어떻게 접근했을까: 스스로 단계별 지표를 해석하는 것이 어려웠으나, 눈물을 머금으며 하긴 했습니다. 주문 완료한 유저를 검색형 유저, 탐색형 유저로 나눠서 지표를 다시 쪼개보아서 의사결정을 하는 게 좋을 것 같았고, 각각의 케이스를 나눠서 작성했습니다.
도비님의 코멘트: 더 생각해 볼 만한 추가 지표와 의사결정의 근거가 될 만할 지표는 어떤 것일지 물어봐 주셨습니다. 나름대로 피드백에 답을 달았지만, 지금보니 무슨 소리인지 모르겠네요. 또르르...
8주차: 힙데비_Revisit
어떻게 접근했을까: 1주차 때 작성했던 케이스를 보니 정말 부족한 점이 많았습니다. 8주차에는 그동안 연습했던 지표 구조화, 의사 결정을 위한 지표 선정 등을 대입해 보았습니다. 8주차의 제 답은 데이터에 맥락이 조금은 생긴 듯 했고, (제가 느끼기엔) 조금은 성장한 것 같아 매우 뿌듯했습니다.
그 외의 꿀 같았던 시간들
정말 힙데비 운영진, 도비님들이 대단하다고 느낀 게 뭐냐면, 절대로 케이스를 그냥 던져주지 않으셨습니다. 케이스를 푸는 중간마다 케이스 해킹 스터디 시간을 마련해서, 케이스를 이해하는 데 도움을 주셨습니다. 그리고 케이스를 제출한 다음 주에는 Best practice를 설명해 주는 시간도 가졌지요. 그리고 데이터를 현업에서 더 잘 활용할 수 있도록 도비님들의 인사이트를 공유해주시는 허니토크 세션까지! 정말정말 8주 동안 알찬 시간을 보냈습니다. 준비해 주신 세션에서 도비님들의 열정을 느낄 수 있었습니다. 또한 늦은 시간(대부분 밤 10시..?) 임에도 열심히 참여하시는 다른 데비님들의 열정에 또 한 번 놀랐습니다. 다들 배움과 성장에 대한 의지가 강하셨고, 덕분에 저도 좋은 자극을 받았습니다.
그래서, 8주동안 뭐가 달라졌는데?
꾸준히 과제를 하다 보니 벌써 8주차가 되었고, 챌린지는 끝이 났습니다. 중간중간 과제를 스킵하고 싶은 적도 있었습니다. 그렇지만 자신과의 싸움에서 이겨 8주의 챌린지를 모두 완수할 수 있었습니다(과거의 나 칭찬해). 챌린지에서 배웠고 느꼈던 점들을 정리하자면,
1. 데이터를 비판적으로 보기 시작했다
‘비판적으로 본다’라는 워딩이 정확할지 모르겠습니다. 하지만 이전에는 누군가 뽑아준 데이터를 보고 별 생각 없이 수용하는 수동적인 사람이었다면, 이제는 데이터를 보고 생각하기 시작했습니다. ‘~한 것을 확인하려면, A가 아니라 B를 봐야 하지 않을까?’, ‘어디에 logger를 심는 것일까?’ 등 이것저것 스스로 질문을 하게 되었습니다. 아직은 이러한 단편적인 생각들을 당연히 실무에 적용하기 어렵지요. 그래도 꾸준히 공부하고 질문하다 보면 언젠가는 제가 알고 있는 것을 적용해 볼 수 있는 날이 올 거라 생각합니다.
2. 선행 지표, 후행 지표... 데이터에도 흐름이 있었구나
사실 당연한 얘기입니다. 유저의 여정이 있고 그에 따른 퍼널이 존재하기에 데이터에도 당연히 구조와 흐름이 있습니다. 하지만 저는 그걸 이제 깨달았다는 사실! 몰랐었다기보다는 이제야 인지했다는 표현이 정확합니다. 어쨌든 덕분에 어떤 문제를 ‘데이터의 구조’를 따라가며 개선해 보는 것도 괜찮지 않을까... 라는 인풋이 생겼습니다.
3. 데이터 공부에 동기부여가 되어 공부하려 한다
앞서 말씀드렸듯이 저의 데이터 경험은 단편적이고, 누군가 떠먹여 주는 데이터를 그대로 수용하기만 했었습니다. 그래서 데이터 공부가 그렇게 절실했던 상황은 아니었습니다. 하지만 힙데비를 하며 실무에서 데이터를 논하려면 이대로는 제가 많이 부족하다고 느꼈지요. 그래서 스트레스받지 않는 선에서 조금씩 공부해 보려고 합니다. 물론 새로운 것을 배우는 데서 오는 기쁨도 함께 느끼고 싶습니다.
4. 열정적인 데비, 도비님들을 보며 열심히 살기로 다짐했다
OT 때부터 열정적으로 각종 스터디, 북클럽, 사이드 프로젝트를 만드시던 데비님들... 밤 10시에도 데비들을 위해 허니토그, 케이스 해킹 스터디 등 귀한 지식을 나눠주던 도비님들을 보며 저의 삶을 반성하게 되었습니다. 힙데비 분들을 보고 많은 자극을 받았고, 올 한해 2022 열심히 살아보기로 했습니다. 사실 힙데비에서 만들어진 북 스터디에 참가해 정말 백만년 만에 책을 읽게 되었습니다. 강제성이 없이는 움직이지 않는 저지만, 강제성을 한 번 만들어서라도 알차게 시간을 써 보려 합니다. 저에게 좋은 자극을 주신 힙데비 모든 분께 감사드립니다.
5. 그러나 아쉬웠던 점, 나의 게으름
OT 때 들었건만... 다른 사람들의 케이스를 보며 서로 피드백하는 것이 정말 도움이 된다고... 저는 ‘이건 찐이다’에 선정된 것만 봤습니다. 다른 분들의 케이스에서 배울 점이 정말 많다는 건 저도 알고 있었습니다. 하지만 저는 역시 게으른 사람이었고, 더 배울 수 있는 기회를 놓쳐버렸습니다. 다음부터는 뭔가 강제성이라도 부여해서(예를 들면, 정주행 스터디라던가) 이 게으름을 이겨내 보도록 하겠습니다.
뭐 결론적으로 제가 얼마나 공부할게 많은지 알게 되었습니다!아직 저는 데이터에 대해 부족한 점이 많지만, 이제 첫걸음을 떼었다고 생각합니다. 꾸준히 공부해서 언젠가는 활용까지 할 수 있는 날이 오기를 바랍니다. 마지막으로 뜻깊고 유익한 시간 만들어주신 힙데비 운영진께 감사의 말씀을 전합니다(x100). 힙데비 다음 기수 오매불망 기다리는 중입니다. 긴 글 읽어주셔서 감사합니다.
