직관 vs 데이터 기반 의사결정에 대해
데이터가 모든 것에 우선한다는 집착을 버리기
최근 만난 한 분으로부터 다음과 같은 질문을 받았다.
ㅇㅇ님은 PM으로서 의사결정을 할 때, 직관과 데이터 둘 중 어느 것이 더 중요하다고 생각하시나요?
질문을 듣자 마자 가장 먼저 떠올랐던 생각은 질문이 틀렸다는 것이다. 직관과 데이터는 둘 모두 중요하며, 어느 하나가 더 중요하지 않고, 정작 더 중요한 것은 따로 있다는 생각이다.
이것이 너무 속 편한 답변처럼 들렸다면, 왜 그런 결론을 내었는지를 한 번 이야기해보도록 하겠다.
1. 데이터라는 단어가 주는 달콤함에 대해
신입 혹은 저연차 PM/PO들이 흔히 빠지는 함정이 있다. 이른바 데이터 만능설이다. 데이터는 모든 의사결정의 알파이자 오메가요, 모든 의사결정은 데이터에 기반하여야 한다. 데이터에 기반하지 않은 오더는 대부분 짜치며, 이런 오더가 상사나 회사로부터 자주 내려오다 보니 이 회사에 있기가 싫어진다. 우리가 충분히 많은 양의 데이터를 가지고 있으면 훨씬 더 멋진 의사결정을 내릴 수 있을 것이다.
이는 극단적인 사례가 아니다. 의외로 정말 많은 PM초년생들이 빠지는 함정이고, 심지어 필자 또한 이런 함정에 짧지 않은 시간 동안 빠졌던 적이 있기에 어떤 맥락에서 그러한 생각에 빠지는지 역시도 공감된다.
<프로덕트 매니지먼트의 기술>의 저자인 맷 르메이는 저서에서 '데이터'라는 단어 자체에 이 문제의 원인이 있다고 말한다.
"데이터라는 단어는 유용한 것처럼 느껴지는 그 이유 때문에 더욱 위험하다. 너무 쉽게 구체성 없는 권위를 행사할 수 있기 때문이다."
실제로 업무를 해보면 그렇다. 누군가가 문서를 만들었는데 글과 그림만 있고, '데이터스러운' 차트와 같은 것들이 없다면 보기가 싫어진다. 반면 아무리 간단한 숫자라도 '데이터스러운' 차트가 하나 있으면 뭔가 이 사람이 열심히 문서를 준비해온 것처럼 느껴지고, 그 문서는 근거가 있다고 느껴진다. 실제 그러한 근거는 없음에도 불구하고. 통계는 거짓말을 하지 않지만, 거짓말쟁이는 통계를 이용한다는 격언도 이러한 차원에서 나온 말이 아닐까 싶다.
알파고 센세이션 이후 데이터 기반 의사결정(data driven decision, 이른바 ddd)이 유행처럼 번지던 시절이 있다. 수많은 데이터 분석 강의가 범람하고(실제로는 데이터 분석이라 볼 수도 없는 파이썬 강의에 불과했지만), 데이터 분석가의 수요가 엄청나게 치솟던 시절이었다. 각종 인사이트 리포트들에서는 세계 유수의 기업들이 자사가 보유한 데이터를 바탕으로 얼마나 멋진 의사결정을 했는지에 대한 멋진 케이스 스터디들이 쏟아졌고, 데이터 기반 의사결정은 그야말로 모든 문제를 해결할 만능 열쇠 그 자체로 소개되었다.
2. 그럼에도 불구하고, 데이터.
이렇게까지 서두를 작성하고 다시 읽어보니 무슨 데이터 불신론자가 불평을 하는 것처럼 느껴질 수도 있지만, 그렇지는 않다. 데이터는 여전히 중요하다.
데이터는 불확실한 세계 속에서 우리가 더 나은 의사결정을 할 수 있도록 도와준다. 제품을 만들 때 우리는 수많은 의사결정의 옵션들을 마주하고, 어떤 선택이 더 나은지를 저울질해야할 때가 많다. 이 때 우리가 충분한 데이터를 보유하고 있다면 이것은 확실히 도움이 된다. 각 옵션의 임팩트와 비용 등을 비교적 많은 사람들에게 납득 가능한 수준으로 비교해볼 수 있기 때문이다.
10대/20대 대비 40대/50대의 가입 전환율이 현저히 떨어진다면, B연령대의 입장에서 서비스에 무언가 문제가 있을 가능성이 높다는 뜻이다. 가입 페이지의 글씨가 너무 작아서일 수도 있고, 40대/50대의 점유율이 높은 android 환경에서 무언가 문제가 발생할 수도 없다. 어떤 원인이 문제일지 더 세심한 파악이 필요하다면, 여러 조건의 a/b테스트를 돌려보며 세부 원인을 찾기 위한 데이터를 얻어볼 수도 있다.
PM으로서 업무를 할 때 이러한 이슈 발견이나 의사결정은 이와 같이 데이터에 기반해 이루어질 때가 많다. 데이터 기반 의사결정은 나쁜 것이 아니며 오히려 권장할 만한 경우가 많다. 심지어 PM이 업무를 요청할 때 근거가 되는 데이터가 하나도 없다면, 되려 근거 없이 즉흥적으로 의사결정하는 PM으로 오해될 가능성까지 존재한다.
3. 데이터 분석이 가지는 한계
그렇다면 왜 서두에서 그렇게 데이터 신앙을 맹폭했는가. 그것은 우리가 데이터 분석의 특징과 한계에 대해서 정확히 알 필요가 있기 때문이다.
이것은 확실히 하자. 데이터는 만능 도깨비방망이가 아니다.
데이터 분석은 분명 뛰어난 도구이다. 해당 영역에 신뢰할 만하고 충분한 데이터가 있다는 전제 하에, 데이터는 매우 정확하고 객관적인 증거를 도출해주는 경향이 강하기 때문이다. 그러나 동시에 여기서 도출될 수 있는 또 하나의 특징이자 치명적인 단점들은 다음과 같다.
1. 해당 영역에 연관된 데이터가 있어야 하고
2. 데이터 소스가 신뢰할 만하여야 하며
3. 편향성이 없을 정도의 충분한 양의 데이터가 모여 있어야 한다
즉 3가지 중 하나라도 없다면 그 데이터에 기반한 데이터 분석의 신뢰성은 급격이 하락한다.
아래 그림을 보자. 유명한 그림이다.
파란색 봉우리들을은 각각 해당 봉우리에서 '가장 좋은(높은)' 해답이 된다. 그 주변의 모든 값들은 파란색 꼭대기보다 낮기 때문이다. 그러나 시야를 넓혀서 보면, 주변에는 더 작은 봉우리도 있고 더 높은 봉우리도 있다. 각각 봉우리의 입장에서 보면 각자의 꼭대기가 최고점(지역 최적점)이지만, 더 넓은 시야에서 보면 빨간색 봉우리가 최고점(전역 최적점)이다.
이것은 데이터 분석의 특징과 한계점을 잘 비유한다. 각 봉우리는 우리가 모은 데이터이다. 왼쪽 첫 번째 봉우리만큼의 데이터가 있다면, 그 '데이터 안'에서 우리는 최고의 결론을 낼 수 있다. 그러나 더 넓고 충분한 데이터를 가지고 있다면, 해당 봉우리 말고 다른 봉우리들이 여럿 더 있다는 것을 발견하게 되고 -> 모든 봉우리들의 최적점은 빨간 봉우리가 되고 그것이 최고의 정답이 된다.
더 극단적으로는, 우리가 있는지조차 몰랐던 봉우리들이 더 있을 수 있다. 위 표에서는 5개의 봉우리밖에 없지만, 우리의 시야가 더 넓어질 때 오른쪽, 혹은 다른 축에 무수히 많은 봉우리들이 있을 수도 있다는 의미.
즉, 데이터는 그 데이터가 가지고 있는 범위 안에서만 데이터를 도출할 수 있다는 점을 잘 기억해두어야 한다.
이 인사이트를 제품 관점으로 돌아가보자. 제품 개선은 적지 않은 경우 제품의 운영 데이터로부터 출발하고는 한다. 제품의 점진적 개선을 할 때는 분명히 좋은 방식이다. 특정 운영 데이터에서의 인사이트를 발견하고, 그것을 해결하기 위한 솔루션을 내고 결과를 개선시킬 수는 있다. 그러나 점진적인 개선을 넘어서는 moon shot 개선을 일으키고자 할 때는, 가지고 있는 데이터 안에서는 해결할 수 없는 경우가 많다.
사용자의 장바구니/결제 데이터를 가지고 사용자들이 어떤 물건을 더 많이 사는지를 분석해서 재고를 효율화하거나, 할인 쿠폰을 제공하는 이벤트를 기획할 수도 있다. 이런 점에서는 분명 데이터 분석 기반의 접근법이 효율적이다. 그러나 데이터는 다음과 같은 질문들은 답해줄 수 없다.
- 우리 사용자들은 왜 우리 쇼핑몰에서 쇼핑하는가? 이 쇼핑몰을 이용하지 않는 이유는 무엇인가?
- 다른 쇼핑몰 대비 우리 쇼핑몰에서 느끼는 차별적인 가치는 무엇인가?
- 이 쇼핑몰에서 파는 제품군 외에 다른 제품은 무엇을 원하는가?
- 이 쇼핑몰에서의 전반적인 구매 경험은 어떠하였고, 상품 외 어떠한 개선이 필요한가?
- 동일한 상품임에도 불구하고, 고객이 이 쇼핑몰이 아닌 오프라인 몰에서 구매하는 경우는 왜 존재하는가?
좀 전의 지역 최적점과 전역 최적점 그래프로 돌아가보자. 무언가를 '개선'한다고 했을 때, 장바구니/결제 데이터를 바탕으로 의사결정한다면 그 봉우리 안에서의 최적점만 향해 나아가게 된다. 그러나 시야를 넓혀보면 고객 경험, 경쟁 쇼핑몰, 다른 제품군에 대한 니즈 등 다양한 봉우리들이 더 존재한다는 것을 어렵지 않게 알 수 있다.
데이터는 스스로 의사결정을 하지 못하고, 당연히 시야를 넓게 볼 수도 없다. 다른 봉우리가 존재하는지 알 수도 없고 관심도 없다. 더 많은 봉우리가 존재하는지 볼 수 있는 것은 결국 사람이다.
4. 모든 사람은 직관에 의존한다
Product Manager가 의사결정을 내릴 때 직관에 의존한다고 말하면 어떻게 읽히는가?
혹자는 본인의 감에만 의존한 판단이기 때문에 위험한 Product Manager라고 볼 수도 있겠다.
그러나 모든 Product Manager는 의사결정을 직관에 의존한다. 뛰어난 PM이라도 말이다.
애초에 데이터를 분석한다는 것 자체도 직관이다. 여러 데이터 중 어떤 데이터를 볼 것인가를 '선택'하는 것도 결국 인간의 영역이기 때문이다. 우리 쇼핑몰의 매출 개선을 위해 결제/장바구니 데이터를 분석했는가? '매출 개선'이라는 아젠다를 잡은 것도 선택이고, 그 분석을 위해 '결제/장바구니 데이터를 보아야겠다'라는 것도 결국 선택이며 이것은 상당 부분 직관에 의거한다.
다음 예시를 생각해보자.
"우리 쇼핑몰 매출의 70%는 20대 여성으로부터 나온다. 이번 년도 매출 극대화를 위해, 코어 고객층인 20대 여성 타겟의 다양한 상품군을 추가로 입점시켜야 한다"
꽤 합리적인 데이터 기반 의사결정처럼 보인다. 반면 다음은 어떠한가?
"우리 쇼핑몰 매출의 20대 여성 위주로만 있으며, 전체 매출의 70%까지 차지한다. 이번 년도 매출 극대화를 위해, 성별과 연령대를 확장시켜 다른 고객층을 유입할 수 있도록 성/연령 중립적인 상품 라인업을 입점시켜야 한다"
두 예시의 결론은 상반되지만(코어 고객 강화 vs 고객층 확장), 다루고 있는 데이터는 동일하다(20대 여성이 70%의 매출을 차지). 결국 동일한 데이터를 보더라도 얼마든지 다른 결론이 나타날 수 있는 것이 생리적이 것이고, 그 결론을 도출해나가는 것을 담당자의 직관이 중요한 부분을 차지한다. 즉 현재 어떠한 상태인가?를 진단하는 것은 데이터의 역할이지만, 어디로 나아가야 하는가?는 사람의 선택하는 것이라는 것이다. (물론 현실에서는 이와 같이 단순한 데이터 분석으로 의사결정하지는 않는다. 더 풍부하고 객관적인 데이터와 분석 결과가 많아질 수록 '합리적인' 결론을 내릴 가능성이 높아진다.)
데이터 분석가가 제 아무리 멋진 분석 결과를 내놓는다 하더라도(애초에 위에서 설명한 것처럼 분석 자체에도 직관이 많이 개입되지만) 결국 최종적인 방향을 의사결정하는 것은 사람이고, 사람인 이상 직관으로부터 완전히 자유로울 수 없다. 어떠한 '선택'을 한다는 행위 자체가 100% 객관적일 수 없기 때문이다. PRD에 그럴듯한 차트나 숫자가 들어가 있다면 그것이 데이터 기반 의사결정이라고 '보여질' 뿐, 결국 '왜 이 선택을 했는가'는 사람이 결정하는 것이기 때문이다.
5. 데이터 기반 의사결정보다는 빠른 의사결정
신입 레벨의 PM들이 가장 많이 하는 질문 중 하나는 '의사결정을 내릴 만한 데이터가 부족해 데이터 기반 의사결정을 내릴 수가 없다'는 질문(을 가장한 고충)이다. 이 질문에는 놓치고 있는 핵심이 있다. 의사결정은 데이터를 필요로 하지 않다는 것이다. 데이터가 풍부하면 풍부할 수록 보편적으로 양질의 의사결정을 내릴 가능성이 높아진다는 것은 부정할 수 없다. 하지만 그것이 데이터가 없으면 의사결정을 할 수 없다는 뜻은 아니다.
제품 세계에서의 의사결정은 정말 다양한 요소로 빈번하게 일어난다. 회사의 슬랙 대화들을 잘 보고 있자면 하루에도 정말 많은 의사결정들이 일어난다는 것을 알 수 있다. 어떤 것은 큰 의사결정이고, 어느 것은 단순히 버튼의 문구를 어떻게 수정할 것인가 정도의 사소한 의사결정일 것이다. 이 수많은 의사결정들 중 '데이터 기반 의사결정'은 어느 정도를 차지하는가? 이것들을 곰곰히 생각해보면, 대부분의 의사결정들은 데이터와 전혀 연관이 없다는 것을 알 수 있다. 오히려 담당자가 본인이 지닌 도메인 지식과 업무 경험을 바탕으로 그 때 그 때의 '직관'에 따른 의사결정의 비중이 훨씬 더 크다는 것을 알 수 있다.
모든 의사결정에 데이터가 요구되지는 않는다. 설령 대고객 서비스에 영향이 가는 것이라 하더라도, 그 범위가 크지 않다면 담당자의 직관 또는 팀의 인사이트에 기반해 빠른 실행을 해보는 것이 대체로 더 낫다. 의사결정에 대한 근거를 만들어줄 충분한 데이터가 있다면 당연히 이를 참고하는 것이 좋지만, 없다면 그 데이터를 찾을 시간에 뭐라도 빠르게 액션을 해보고 그 액션 결과를 통한 데이터를 얻는 것이 대부분 더 나은 옵션이다.
앞서 언급했던 도서 <프로덕트 매니지먼트의 기술>에서는 다음과 같이 기술하고 있다.
"데이터가 충분하지 않아도 일단 의사결정을 시작하면 대체할 할 수 있는 데이터 원본, 개략적이지만 수용할 수 있는 중간 데이터, 그리고 자신과 팀이 앞으로 나아갈 수 있는 다른 방법을 찾게 될 가능성이 훨씬 높아진다."
데이터가 없다면 데이터가 없다는 핑계로 의사결정을 미룰 것이 아니라, 그 환경 안에서 의사결정과 실행을 한 다음에 이것이 올바른 방향이었는지를 볼 수 있는 데이터를 만드는 것이 훨씬 더 가치 있다는 것이다.
구매 전환율을 높이기 위해 '구매하기' 버튼의 문구를 바꾸는 실험을 해본다고 생각해보자. '구매하기' 대신 '더 알아보기'나 '바로 담기', '결제하기'와 같은 문구가 대안이 될 수 있겠다. 여기서 어떤 '데이터 기반'의 의사결정을 할 수 있을까? 물론 여러 레퍼런스 사이트들을 둘러보며 이들이 대체로 어떤 문구들을 가장 많이 사용하는지에 대한 데이터를 얻어볼 수 있겠다. 혹은 UX 사례집을 보며 어떤 문구가 대체적으로 더 나은 사용자 경험이라 평가받는지를 공부해볼 수 있겠다. 그러나 확실한 것은 그런 정보를 얻느라 시간 낭비를 하는 것보다는, 직접 문구들을 바꿔보며 실험해보는 것이 훨씬 더 정확하고 효율적이다는 것이다.
물론 의사결정에 따른 영향범위가 큰 의사결정일 수록, 다시 되돌릴 수 없는 one-way decision일 수록, 잘못되었을 때의 손해가 막심한 의사결정일 수록, 실행의 비용이 높을 수록 더 정교한 의사결정이 필요하다. 이런 의사결정은 대부분 이미 필요한 데이터가 충분히 있을 가능성이 높지만, 간혹 이러한 big decision인데도 데이터가 없는 경우도 있기는 하다. 설령 이런 경우라도, 그 의사결정이 맞는지 가늠해보기 위해 '작은 실행을 먼저' 해서 필요한 데이터를 조금씩 얻어나가는 것이 정석이다. 작은 실행에라도 필요한 데이터가 있다면 좋겠지만, 그것이 없다면 직관과 팀 인사이트를 활용한다.
마치며
다시 처음의 질문으로 돌아가자. 데이터과 직관이 뭐가 더 중요하냐는 물음에는 데이터와 직관 경쟁 관계가 아니며, 둘 모두 중요하게 보아야 한다고 답할 수 있다.
하지만 결국 가장 중요한 것은 의사결정과 행동이고, 행동을 통해 조금씩이라도 결과(와 근거)를 만들어나가는 것이 가장 좋은 길이라 생각한다.
오늘 여러 번 언급되는 <프로덕트 매니지먼트의 기술>에서의 인용을 마지막으로 글을 마친다.
"과학적 접근 방식을 취해야 한다는 생각에 사로잡혀 ’비즈니스적’인 큰 그림을 완전히 놓칠 수도 있다. 비즈니스에 정말 필요한 결과를 얻기보다는 측정할 수 있고, 테스트할 수 있는 것에 더 집중하지 말자."
#데이터 #PM #의사결정
