brunch

You can make anything
by writing

C.S.Lewis

by 장샛별 Apr 29. 2022

실험이 필요한 이유

빠르고 정확하게 목적지로 가는 방법 - 실험과 A/B Test

지난해 선물 받은 달력에는 각 월의 뒷면에 도전적인 삶을 독려하는 문장들이 쓰여 있었다. 페이지를 넘기다가 한 문장에서 손이 멈췄다. 큰 실패를 경험하기 전에 작게 시도해보라는 것이었다. 회사 안에 실험과 데이터 기반 문화를 정착시키는 것을 중요하게 여기던 때라 한 해의 시작에 만난 이 문장이 더 반가웠다. 꼭 비즈니스 성과를 이야기하지 않더라도 보통의 삶에 조언이 되어주는 이 짧은 문장은 데이터와 실험이 필요한 이유를 모두 쉽게 이해할 수 있게 한다.

여러 회사에서 10년 이상 데이터 분석을 하다 보니 내가 맡았던 과제는 주제도 범위도 다양했다. 초반에 내가 해왔던 분석은 대부분 중요한 하나의 의사결정을 하기 위해 데이터로부터 인사이트를 만들어내는 것이었다. 지금 돌아보면 결과가 의사결정에 얼마나 의미 있게 사용되었는지 보다는 '데이터 기반'이라는 형식 자체가 더 중요하게 여겨졌던 시기인 것 같기도 하다. 당초에 계획하던 의사결정을 뒤집을 수 있는 분석 결과는 그다지 환영받지 않는 분위기이기도 했다. 모델이나 방식을 수정해 이미 내부적으로 정해진 결론에 맞춰주면 안 되냐는 질문을 받은 적도 있었으니까. B2B 비즈니스의 특징일 수도 있지만 빠르게 데이터를 통해 판단하고 의사결정을 내리기보다 몇 개월 이상 많은 유관부서와 프로젝트처럼 진행하는 과제가 많았다.

본격적으로 내가 하는 업무가 더 가벼워지고 빠른 흐름으로 움직이게 된 건 두 번째 회사부터였다. 소비재 회사로 이직 후 얼마 지나지 않아 Test&Learn을 표방하고 그 DNA를 회사에 이식하기 위한 CoE(Center of Excellence) 조직이 신설돼 초기 멤버로 합류했다. 그곳이 내가 처음 비즈니스 환경에서의 실험을 만난 곳이었다.

"회사가 연구소야? 학교야?"

성과는 물론이고 회사의 체질까지 바꾸는 Digital Transformation을 미션으로 받았던 우리 조직의 여정은 그다지 순탄하지 않았다. 제조와 오프라인 영업이 근간이었던 회사가 작은 팀이 하나 생긴 것만으로 갑자기 바뀔 리 없었다. 협업 없이는 성과를 만들어 낼 수 없는 큰 조직 구조에서 보이지도 않을 만큼 작은 신생 조직은 아무리 스포트라이트를 받아도 작은 조직에 불과했다. 그 당시 일하면서 가장 답답하고 어려웠던 벽은 사실 보고를 받을 때 겉으로는 고개를 끄덕이지만 실제론 귀를 닫고 등을 돌린 모습의 임원들이 아니었다. 진짜 높았던 벽은 메일과 메신저로 대화하고 사무공간에서 마주하는 다른 동료들의 진심이었다.

Test&Learn, 실험, A/B Test,... 데이터를 기반에 둔 우리 조직에서 중요하게 쓰던 도구는 공식적인 자리 뒤편에서는 비아냥거리로 보였다. '데이터, 디지털, 온라인'이라는 말에 알레르기라도 있는 듯 반응하는 사람들을 회사 근처 술집에서 흔히 볼 수 있었다. 밀접하게 우리 조직과 협업하는 사람들까지도 허물없는 자리에서는 이런 말을 했다. "말만 하면 Test, Test, Learn, Learn.. 여기가 실험실이야? 학교야?"

팀에서 가장 많이 강조하던 "Test&Learn"은 가설을 세우고 그 가설을 실험과 데이터로 확인하고, 그렇게 학습한 내용을 의사결정에 반영하는 과정이다. 이런 일하는 방식을 조직에 내재화하려던 이유는 그냥 그게 유행이어서는 아니었다. 고객을 더 이해하고, 고객 중심의 서비스와 제품을 만들어가는 가장 좋은 방법이라고 판단했기 때문이다. 조직의 미션 역시 제품 성장을 위해 많은 회사에서 수년 전부터 도입하는 그로스 조직에 가까웠다고 생각한다. 우리에게는 성장을 위한 최고의 방법이 데이터와 실험, 즉 Test&Learn이었지만 정말 많은, 대부분의 구성원들에게는 그렇지 않았다. 회사를 떠나 감정을 내려놓고 우리 조직의 미션이 실패한 이유를 돌아보면 결국 다른 구성원들과 같은 생각을 하지 못했던 게 가장 큰 이유 같았다. 팀 외부의 구성원들에게 Test&Learn은 내가 해야 하는 일이나 성과와는 동떨어진 다른 일로 여겨졌다. 늘 이렇게 해왔고 다른 데서도 다 그렇게 하는데 갑자기 why를 묻거나, 실험으로 확인해보고 결정한 것인지 질문을 받다 보니 '그냥 짜증 나고 도움도 안 되는' 일이었던 게 아니었을까. 사실 도움이 되는지 아닌지는 중요하지 않았을지도 모른다. 단지 '짜증 나는 일'로 받아들여지는 것 자체로 차이는 없었을 거라고 생각한다. 조직이 커지면 커질수록 각자의 의사결정이 최선의 것이 아니더라도 크게 티가 나지 않으니까.

얼마 전 읽은 양승화 님의 책 <그로스 해킹>에는 그로스 해킹 조직에 대한 이야기가 나온다. 그로스 조직이 회사 안에서 외딴섬처럼 존재하고, "저 팀은 도대체 뭘 하는 거지?"라는 이야기를 듣기 시작할 때 그로스 조직은 100% 실패한다는 문장이 눈에 띄었다. 그로스 조직을 아무리 잘 구성하더라도 조직 안에서 모든 것을 그들의 힘만으로 해결하고 회사의 성과를 이끌고 갈 수는 없다. 그로스 조직 밖의 다른 조직이나 구성원들과 협업하면서 결과를 만들어야 하기 때문이다. 실험을 통해 가설을 확인하고 학습한 내용을 적용하는 과정을 빠르게 반복하는 그로스 조직의 일하는 방식이 회사 전체에 잘 받아들여져야 실제로 성장(Growth)을 만들어 낼 수 있다.

지금 회사에서는 모든 구성원이 데이터와 실험을 우리의 일하는 방식으로 받아들이고 있다. 그래서 데이터와 실험으로 우리 비즈니스의 성장을 만들어 낼 수 있다는 확신을 가지고 일할 수 있었다. 물론 이렇게 만들기까지 많은 노력이 있었지만 중요한 것은 지금이다. 지금 우리 모두는 성장하기 가장 좋은 마음가짐을 갖고 있다는 것.

뻔한 결과일 텐데 꼭 해야 하냐고?

실험과 A/B Test가 성장을 위해 좋은 방법이라는 것은 이해하지만, 이런저런 이유로 벽에 부딪힐 때도 있다. 그중 하나가 "당연하기 때문에 그냥 가자"는 방식이다. 아쉽게도 100% 성공을 보장하는 실험은 없다. 이미 진실인 것이 명확한 명제에 대해 가설을 세우고 시간과 비용을 들여 실험을 진행하는 것은 바보 같은 일이다. 하지만 진실이라고 확신할 수 없는 명제라면 어떨까. 실험은 내가 생각하는 가설이 (진실이 아니다) 상상이 아니라 실제로 맞는지 확인하는 과정이다. 물론 실험 없이 내가 믿고 생각하는 것, 때로는 직관이 진실이라고 생각하고 그 믿음을 기반으로 실행할 수도 있다. 물론 그 생각이 틀렸을 경우의 파급효과는 온전히 감당해야만 한다. 그렇다 보니 직관을 믿고 틀린 판단을 고수했을 때의 시행착오를 줄이려면 내가 작년에 달력 뒷면에서 발견한 그 메시지처럼 큰 실패 전에 작게 시도해보는 것이 좋다.

특히 성과가 중요한 비즈니스, 정말로 중대한 의사결정이라면 실험이 반드시 필요하다. 우리 비즈니스에 정말 중요하기 때문에 빠르게 오픈하고 이후에 데이터를 분석하겠다는 말은 어떻게 들으면 합리적인 것처럼 들린다. 하지만 그렇게 중요한 것이라면 실패했을 때의 비용도 분명히 적지 않을 것이다. 간단히 버튼 색깔을 실험하는 것과는 차원이 다른 손해가 발생할 수도 있다. 데이터 분석으로 실험을 대체하려는 시도 역시 주의할 필요가 있다. 실험과 데이터의 반대편에 항상 직관처럼 누가 봐도 불완전해 보이는 방식만 있는 건 아니다. 가끔은 데이터를 통해 세운 가설이나 데이터 기반으로 출시된 제품이라도 실험을 통해 검증대에 올려보면 기대와 다른 결과가 나오기도 한다. 돌다리도 두들겨보고 건넌다는 마음으로 그동안 사람들이 건너는 걸 (데이터를 수집해) 꾸준히 지켜보며 (분석해서) 저 돌은 안전하다는 가설을 세웠다고 해도 실제로 건너보면 푹 꺼질지도 모르는 일이기 때문이다. 일단 적용한 뒤에 데이터를 분석하겠다고 결정하는 경우도 많지만, 그렇게 얻을 수 있는 인사이트에는 한계가 있다. 물론 모든 것들을 실험을 통해 확인할 수는 없지만 정말 비즈니스에 큰 영향을 미칠 수 있는 변화라면 반드시 과학적으로 근거를 확인해봐야 한다.

정말 중요하고 큰 의사결정은 기존의 방식을 고수하면서, 자잘하고 중요하지 않은 가설들로 보여주기 식 실험을 반복하는 조직에서는 '실험'은 있더라도 '실험을 통한 성장'은 없을 수 있다. 더 경계해야 할 것은 그런 실험들이 이어지면서 '이것 봐, 실험이니 뭐니 번거롭게 해도 결국 별 수 없잖아'라는 인식이 조직 안에 퍼져갈 수 있다는 점이다. 그래서 데이터와 실험을 무기로 일하는 사람은 그 중요성을 구성원들이 마음으로 이해할 수 있도록 조직의 일하는 방식을 변화시키는 데 많은 노력을 들여야 한다. 실험을 통한 비즈니스 성장은 실험 결과를 정교하게 분석하는 것보다 구성원이 실험을 각자의 업무에서 가장 효과적인 도구로 생각하도록 만드는 과정이 더 중요할 수 있다.

스마트폰으로 어느 곳에서나 지도를 켜고 길을 찾을 수 있는 지금과 다른 예전에는 낯선 장소에서 길을 찾을 때 여러 차례의 판단과 결정이 필요했다. 근처 지형지물을 통해 맞을 것 같은 방향을 판단하고 직접 나아가 본다. 만약 그 감이 틀렸다면 다시 돌아가서 반대편을 선택하거나 새롭게 길을 찾아가 보면 된다. 길을 찾을 때 내가 머릿속으로 내린 판단은 가설이고, 직접 조금 걸어가 보는 일이 실험이라고 볼 수 있다. 걸어가다 보니 판단이 틀렸다는 걸 깨달았다면, 다시 새로 결정하거나 돌아가는 것이 옳다. 목적지에 빠르고 정확하게 도착하는 게 목적인데 한번 판단한 방향을 끝까지 고수할 필요는 없다. 그래서는 안 된다. 이 예에서 그래도 다행인 점이라면, 길 찾기는 내가 잘못된 선택을 했을 때 그렇게 큰 대가를 요구하지 않는다는 것이다.

비즈니스 의사결정은 신중해야 한다. 실험을 통한 의사결정은 그 실행이 빠른 호흡으로 이루어지는 것과 다르게 훨씬 신중하게, 그리고 과학적으로 정확한 의사결정을 내리는 것이다. 다른 곳에서 확인했던 가설이라서, 이미 업계에서 통상적으로 쓰는 방식이라서 실험이나 데이터 확인 없이 의사결정을 할 수도 있다. 하지만 만약 그 가설이 우리 서비스와 지금의 사용자들에게는 사실이 아니었다면? 운 좋게 떨어진 지표를 통해 알아챌 수 있을지도 모른다. 그 결정으로 떠나버린 사용자들은 돌아오지 않을 가능성이 높겠지만 말이다.

keyword