우리는 정말 데이터 기반으로 일하고 있는가
데이터를 맹신하지 않고 활용하는 방법
AB180은 데이터와 관련된 무료 웨비나를 제공하는 플랫폼인 AB180 Academy를 운영하고 있어 필자는 해당 플랫폼에서 질 좋은 교육을 많이 수강하고 있습니다. 브레이즈나 앰플리튜드, 에어브릿지와 같은 데이터 분석툴 사용법에 대한 강의 또한 기능별로 제공하고 있어 도움을 많이 받고 있습니다.(참고로 데이터 분석툴 사용법 관련 강의는 해당 툴을 결제하여 사용하고 있는 AB180 고객사의 경우에만 수강이 가능합니다.)
다양한 교육 강의들 중에서도 MGS(MODERN GROWTH STACK)2023 컨퍼런스의 한 챕터(프로덕트 분석과 실험을 통한 비즈니스 성장 가속화)를 중점으로 AB180 주관 웨비나 몇개를 참여하고 해당 내용을 제 생각과 더불어 정리해보았습니다.
데이터 기반 의사결정이 중요한 이유
요즘 나날이 데이터 기반 의사결정이 중요하다고 강조되고 있는데요. 데이터 기반 의사결정은 왜 중요한 것일까요? 결론부터 말하자면 주장이 설득되기 위해서는 근거가 필요하고 변하지 않는 확실한 근거는 데이터밖에 없기 때문입니다.
모든 기획과 혁신은 아이디어와 가정, 즉 가설을 통해 시작됩니다. 그렇기 때문에 새롭고 혁명적인 기획일수록 바로 실행에 옮기기 어렵습니다. 가설은 예상일뿐이며 결과를 보장하진 못하기 때문입니다. 가설을 증명하기 위해서는 지속적으로 확인하고 검토하는 과정이 필요합니다. 그 모호함 속에서 정확한 척도가 되어줄 것이 바로 명확한 수치로 표현되는 데이터입니다. 문제를 해결하기 위해서도 마찬가지입니다. 문제를 해결하기 위해서는 어떻게 해결할지에 대한 가설이 필요하고 그 가설은 실험을 통해 증명됩니다. 따라서 데이터 기반 의사결정은 다른 의사결정 방식보다 리스크가 작다고 볼 수 있습니다.
또한 데이터 기반 의사결정은 고객 중심 접근법에 가장 가깝습니다. 고객데이터를 수집하고 고객의 선호도와 경험을 파악하여 이슈를 해결한다면 비즈니스를 성공적으로 확장해 나갈 확률이 높습니다. 궁극적으로는 프로덕트의 가치와 고객이 원하는 것을 일치시킬 수 있는 최적화된 방식이라고 볼 수 있는 것입니다.
결국 프로덕트가 집중해야 하는 것은 프로덕트가 제공하는 본질적인 가치를 제공하는 일입니다. 성장을 위한 프로덕트의 개선을 직관으로만 결정하는 것이 과연 옳은 일일까요? 직관은 프로덕트를 구성하는 사람의 관점을 벗어나기가 쉽지 않습니다. 편향될 수 있고 좋은 의도였다고 한들 역성장을 초래할 수도 있으며 위험부담이 큽니다.
그래서 원티드랩의 데이터 분석가 성여운님은 장기적으로 지속적인 성장을 하기 위해서는 작고 확실한 테스트들이 필요하다고 말합니다. 이는 즉, 임팩트있는 시뮬레이션을 통해 작게 실패하고자 하는 니즈가 포함되어 있습니다. 근거가 명확함에도 불구하고 시장에는 너무나 다양한 상황이 있기 때문에 결과를 언제나 정확히 예측한다는 것은 불가능합니다. 성여운님은 테스트를 하는 것보다 테스트 결과를 정량적으로 확인하고 지표를 통해 수치적으로 성공인지 실패인지를 따져보는 과정이 더욱 중요하다고 덧붙여 강조합니다. 데이터 기반 의사결정도 중요하지만 결정을 한 이후의 과정 또한 중요하다는 겁니다.
데이터 기반 의사결정을 하기 위한 필요조건
첫번째로 실험이 끝난 후 실험에 대한 레슨이 공유되는 것이 중요하다고 성여운님은 말합니다. 모든 실험이 성공하는 것은 아닙니다. 우리는 문제 정의를 잘못하거나 잘못된 지표를 설정하기도 하며 해결하고자 하는 이슈와 맞지 않는 실험을 하기도 합니다. 이처럼 실험이 실패하는 경우는 다양한데, 우리는 이러한 실패 경험이 쌓여 추후 더 나은 실험을 하게 된다는 점을 잊고 지금 실패를 했다는 상황 자체에 더 초점을 둡니다. 그래서 대부분의 실패한 실험은 쉽게 공유되지 못합니다. 실패한 실험에 대한 레슨런을 어떻게 공유할 수 있을지 고민해봤을 때 성여운님은 결론적으로 가장 쉽게 해결할 수 있는 방법이 A/B 테스트라고 보았습니다. 실패와 성공을 모두 확인할 수 있으며, 객관적으로 측정이 가능하고 데이터 분석 툴을 사용할 경우 정량적으로 실패와 성공이 드러날 수 있기 때문에 모두가 필연적으로 실패를 확인하게 됩니다. 그래서 원티드랩에서는 대부분의 실험을 A/B 테스트로 진행하면서 실패와 성공이 함께 담긴 결과 대시보드를 공유한다고 합니다.
두번째로 데이터가 흐르는 환경과 문화가 중요합니다. 원티드랩의 경우, 모든 구성원이 각자 본인이 실행하고자 하는 일에 대해 정량적으로 증명해야 한다고 합니다. 증명된 수치로 과업의 우선순위를 분류하고 그에 맞게 리소스를 사용한다는 것이죠. 심지어는 회사의 비품을 관리하는 팀에서조차도 비품을 새로 설치할 때 트래커나 센서를 설치하여 몇명이 얼마나 오랫동안 비품을 사용하고 있는지 데이터화하여 조회한다고 하니 바로 이런 환경과 문화가 데이터가 흐르는 조직을 만든다고 할 수 있을 것 같습니다.
이렇지 않은 회사들의 가장 큰 문제는 측정을 하지 않는다는 것입니다. 해야 하는 과업의 중요도는 물론이고 결과에 대한 성과도 지표로 측정하지 않습니다. 측정하지 않는다는 건 릴리즈 이후 개선이 어렵다는 걸 의미합니다. 프로젝트가 릴리즈된 후 무사히 서비스에 반영했다는 안도감에 취해 사후 대응을 하지 못하는 것입니다. 하지만 가설은 정답이 아니기에 릴리즈 후 반드시 검증과정을 거쳐야 합니다. 이렇게 되면 해당 릴리즈가 정말 유효한 것이었는지 확인하기 어렵습니다. 그렇기에 릴리즈되기 전 PM은 검증할 가설을 기반으로 이를 통해 확인하고자 하는 것이 무엇인지에 대한 결과 지표를 명확히 세워야 합니다. 이는 실험을 배포하고 난 후 가설을 검증하고 다시 의사결정을 하여 새로운 배포를 진행하거나 새로운 가설을 세워 새로운 시작으로 도약하기 위함입니다.
29cm의 search&discovery PM 안상영님 또한 이러한 부족한 업무 환경을 경험했고 이를 변화시키기 위해 데이터 분석 툴을 도입하고, 사내 특강이나 뉴스레터를 발행하는 과정들을 통해 사내 구성원들의 데이터 접근성을 높이고 데이터 리터러시를 높여 해당 결과를 보여주고 증명했다고 말합니다. 이런 과정 속에서도 우리는 또다시 느낄 수 있습니다. 무언가가 변화되면 그에 대한 결과가 성공적인지 확인하고 증명하는 것이 중요하다는 것을요.
작은 디자인 실험은 의미가 있을까?
안상영님은 구글과 빙 브라우저를 예시로 들어 의견을 제시합니다. 구글에서 링크 색상을 두고 40여개의 선택지를 통해 어떤 색상이 가장 클릭율이 높을지 확인하거나 빙 브라우저에서 헤드라인의 위치를 다르게 했을 때 수익률이 얼마나 늘게 되는지 확인하는 사례들을 통해 작은 부분의 개선은 간과되기 쉽지만 사실은 큰 부분을 차지할 수 있다고 말합니다. 하지만 그보다 더 중요한 것은 비즈니스의 상황을 고려해야 한다는 점이며 큰 회사들의 경우 작은 수치만으로도 큰 임팩트를 낼 수 있지만 이제 시작한 스타트업의 경우 이러한 실험에 시간을 쏟는다는 것은 상대적으로 의미가 덜한 작업일 수 있다고도 덧붙입니다. 상황과 환경에 따라 맞는 방식을 취해야 한다는 것입니다.
더불어 성여운님은 그럼 반대로 큰 실험은 의미가 있는지에 대해 고찰합니다. 우선 큰 실험이란 무엇일까요? 한꺼번에 많은 부분이 변경되거나 큰 요소가 변경되는 실험이라고 볼 수 있을 것 같습니다. 한꺼번에 릴리즈를 할 경우엔 색상, 문구, 구조, 요소 등 다양한 변경사항으로 인해 어떤 부분 때문에 해당 결과가 도출된 것인지 명확히 하기 어려워 실패 혹은 성공 요인을 분석하기 어렵습니다. 그래서 성여운님은 평소에 릴리즈를 할 때마다 다른 실험들과 함께 병렬 구조로 조금씩 릴리즈를 해두는 것을 권장하고 있습니다. 해당 의견에 적극 동의합니다. 하나의 작은 실험을 릴리즈할 때도 너무나 다양한 환경요인들로 인해 정확히 어떤 원인으로 인해 결과가 도출된 것인지 파악하기 어려운데 많고 큰 실험들을 한번에 릴리즈한다면 어떻게 될까요. 실험은 늘 작은 단위로 쪼개져서 시작되고 그 여러개로 쪼개진 실험이 모여 큰 실험으로 연결되는 방향으로 나아가야 할 것입니다.
실패하기 쉬운 실험, 불필요한 실험
앞서 강조한 것처럼 의사결정을 하기 위해서는 검증하는 과정이 필수적입니다. 검증을 잘하기 위해서 실험은 잘못된 결정을 하지 않도록 돕는 반드시 필요한 과정입니다. 우리는 유저가 아니라 프로덕트를 만드는 한사람인 개인일 뿐이고 이 개인이 다수의 유저를 대변할 수는 없기 때문에 실험은 중요합니다.
안상영님은 실험은 기본으로 생각하되, 실험이 정말 필요한지 아닌지에 대해 따져보는 과정에 더 중점을 두고 이야기합니다. 모든 가설을 검증하기 전 실험이 필요한지를 확인해봐야 하고 의사결정에 충분한 근거나 확신이 없을 경우 즉, 의사결정에 불확실성이 강할 때만 실험을 하는 것이 바람직하다고 말합니다. 성여운님 또한 실험이 중요한 문제가 아닌 경우, 상황적으로 불필요한 실험을 통해 개인의 호기심을 채우는 것에 그칠 수 있고 실험의 결과를 입맛에 맞게 해석하며 결과에 개인적인 사심이 들어갈 수 있다고 경고합니다.
정량적인 결과를 가져오지 못하는 실험은 실패하기 쉽습니다. 비포가 없어서 지표를 비교할 수 없거나 실패를 대비하여 지표를 몇개씩 설정하는 경우에도 실패할 확률이 높습니다. 지표는 하나(많아야 두개)정도로 설정하고 가설을 명확히하여 문제 해결에 맞는 실험을 진행하는 것이 좋습니다. 문제에 원인이나 방안이 담겨있지는 않는지 다시 한번 정확히 파악하고 정확하게 문제만을 도출하여 가설을 세우고 실험을 진행해야 합니다. 문제를 얼마나 빠르고 신속하게 풀어내느냐는 장기적으로 중요한 문제가 아닐 수 있습니다. 실패한 실험으로 인해 여러번의 실험을 해야 할 때 우리는 불필요한 리소스를 훨씬 많이 낭비하게 됩니다. 실험의 중요한 첫번째 단계는 문제 정의가 확실하게 되었는지 끊임없이 의심하고 확인하는 것입니다.
데이터에 집착하지 말자
유저 세그먼트를 쪼개서 데이터를 분석하고 해당 결과를 프로덕트 전략에 활용해야 하는 건 분명 중요합니다. 분석 결과를 보고서에만 담고 끝나는 것이 아니라 의사결정에 반영해야 하고 해당 근거를 기반으로 결정을 하는 문화는 필수적이니까요. 하지만 그렇다고 해서 데이터가 만능인 것은 아닙니다. 데이터는 과거에 무슨 일이 일어났고 지금 무슨 일이 일어나고 있는지 파악할 수 있는 현황분석, 앞으로 무슨 일이 일어날지 예상하는 예측분석정도를 파악할 수 있을 뿐입니다. 과거와 현재에 이런 일들이 왜 일어났고 지속적으로 일어나고 있는지 이유를 찾기 위해서는 앞서 말한 정량적인 데이터와는 달리 정성적인 데이터가 필요합니다.(가설이 될 수도 있겠죠.) 하지만 이를 통해 뭘 만들어 뭘 개선하고자하는지 해결방안을 결정하는 일은 직관과 프로덕트 디자인의 영역입니다. 데이터를 '기반으로' 일해야 하는 것은 맞지만 '데이터로만' 일할 수는 없습니다. 데이터를 활용하되 데이터를 맹신하는 일은 조심해야 합니다. 이 한끗 차이가 매우 어렵고 모호하게 다가올 수 있지만 업무를 하며 반복해서 고민하고 적용하다보면 언젠가 익숙해지는 날이 여러분께 그리고 저에게 또한 올거라고 믿습니다.
참고자료
https://academy.ab180.co/courses/take/data-driven-product-development/lessons/27947659-session-1
