좋은 PM이라면 늘 주의해야 할 4가지 의사결정 편향
내 이성을 속이고 무의식적으로 내려지는 의사결정 편향들을 극복해 봅시다.
글에서 인용하는 PM은 프로덕트/프로그램 매니저를 PO는 프로덕트오너를 지칭하고자 사용하였습니다.
-1. '노르웨이의 숲'에 피톤치드는 없다
많은 분들이 무라카미 하루키의 '노르웨이의 숲'이란 소설 제목에 대해서 알고 계실겁니다. 소설을 읽어 보신 분이라면 잘 아시겠지만, 혹시 읽어 보지 않은 분이라면, 소설 제목만 보고 내용을 어떻게 예상하시나요? 피톤치드를 마구 뿜어대는 끝없이 펼쳐진 북유럽 노르웨이의 침엽수림을 배경으로 하는 하루키 스타일의 사랑이야기가 아닐까하는 상상을 하시는 분들도 있겠지요. 하지만, 이 소설 제목은 비틀즈의 노래 제목 'Norwegian Wood'의 '오역' 또는 '의도된 오역'에 따른 제목일 뿐입니다. 노래 가사에서 의미하는 '노르웨이 목재로 만든 가구'라는 뜻이 '숲'으로 오역에 오역이 덧붙여서 생긴 이미지 일 뿐입니다. 그런 이유로 소설에 노르웨이 숲 풍경은 전혀 나오지 않으며, 한국에서는 이러한 오역이 남긴 이미지로 인한 판매 부진도 한몫을 하여 후에 '상실의 시대'라는 있음직한 제목으로 재출간이 되기도 했습니다.
보통의 우리는 본인이 '완벽하게 논리적인 인간' 이라고 믿지만, 수많은 비논리적인 결정을 하면서 하루 하루를 살아갑니다. 새해 아침이 되면, 올해는 반드시 운동을 열심히 해서 건강하고 몸짱이 되어 보겠다 마음먹고 헬스센터에 몇개월치 선등록을 하고 열심히 시작을 하지만, 그 결심이 며칠 가기도 쉽지 않죠. 또한 물건을 구입할때 무엇이든 비싼 가격은 좋은 품질을 보장한다는 막연한 논리적 허구를 갖기도 하구요. 이처럼 우리 스스로도 논리적이지 않은 인간이지만, 다른 사람들이 생산한 수많은 편향된 결과물에 올바른 필터를 사용해 보지도 않고 내 생활에 영향을 주는것도 현실입니다.
최근 시청한 넷플릭스의 'Manhunt'라는 드라마에서 나오는 프로파일러가 "프로파일러가 가장 경계해야 할 첫번째 생각의 함정은 무엇인가?"라는 질문에 "(내가 검증하지 않고)상속된 가정들 inherited assumption" 이라고 단호하게 말합니다. 오늘의 글과 같은 의미를 담고 있는 대답이었습니다.
0. 편향의 중심에서 가치를 외치다
매일 검색하기도 힘들정도의 많은 데이터가 쏟아집니다. 그 데이터가 내가 원하는 정보information로 변형이 되려면, 나름의 공정을 거쳐야 합니다. 검색필터를 쓰기도, 패턴을 읽기도, 순서를 정하기도 하고, 멋진 차트를 만들면서 그 데이터에게 생명력과 가치를 부여합니다. 그리고 그 피땀눈물의 결과를 내 제품/서비스의 불어 넣어 가치를 만듭니다. 보다 상위의 가치를 제공하기 위해 여러 순차적 가공의 공정과 물리적, 화학적 결합같은 나만의 레시피를 통해서 차별화된 제품/서비스를 만듭니다.
PM, PO들의 업무는 크고 작은 결정들의 일련 과정입니다. 고객요청사항과 시장을 분석하여, 제품/서비스의 비전과 로드맵을 작성하고, 사용자스토리를 만들어 디자이너, 개발팀과 제품의 스코프를 정하고, 타임라인과 딜리버리 스케쥴을 만들고, 사용자리서치팀과 피드백을 주고받고, 프로덕트 마케팅과 위닝포인트전략를 정하고 등등 각 프로세스와 분야의 전문가들과 함께 순간 순간의 결정을 해야 합니다.
고객/사용자의 사용만족도를 높이고, 업무의 생산성과 효율성을 최대한 제공하는 것이 제품/서비스의 최고 목표임에는 분명하지만, 요즘의 시장은 B2B, B2C 를 구별하지 않고, 전무후무한 변동성 volatility, 불확실성 uncertainty, 복잡성 complexity, 모호성 ambiguity을 최대진폭으로 보여주고 있습니다. 이런 어려운 환경에서 더욱 빛나는 가치를 제공하기 위해, 오늘도 PM 들은 사용자 경험을 고민하고, 빠른 퍼포먼스를 위해 연구하고, 더 좋은 기능을 개발하고자 하는 노력들을 각각의 전문가 들과 하는것이겠지요. PM이 결정하는 지점들 마다, 그 결정을 지원하는 많은 데이터들이 있습니다. 그것은 사용자 리서치 결과일수도, 베스트프랙티스일 수도, 현 프로젝트의 여러 상황들이 모두 의사결정 인자로 상호작용을 하게 됩니다.
가장 이성적이고 전략적인 의사결정을 해야 하는 순간이 닥칩니다. 그 의사결정은 논리적이고 합리적이어야 합니다. 우리는 데이터에 기반한 data-driven이라는 말로 그것이 얼마나 논리적이고 합리적이었는지를 설명하려 합지만, 그 데이터를 보는 방법에 오류나 편견, 편향이 없었다 할 수 있겠는지요?
PM이 익혀야 하는 가장 어려운 기술은 의사결정 순간에 본인의 감정과 직감이라고 생각하는 느낌을 제거하고 전체그림을 보는것입니다.
-Rian van der Merwe의 책 Making It Right
위키피디아가 분류한 인지 편향의 종류만 해도 약 200가지 정도로 많으며, 그 또한 애매한 분류라는 전문가 의견이 많습니다. 서로가 겹치는 부분도 많고, 상호 연결된 현상도 많습니다. 인지편향 cognitive biases 은 의사결정 상황에 가장높은 우선순위로 발동되는 원칙입니다. 자연적, 자동으로, 무의식적인 나만의 법칙같은것이죠. 그동안의 경험과 학습에 기인하므로, 빠르면서도 효율적으로 동작하지만, 오류의 위험도 있습니다. 오늘은 그 중에서 PM의 직무를 수행하는 동안 조금 더 신중하게, 꾸준히 경계하면서 극복해야 할 4가지 대표적 편향/편견에 대해서 알아보고 그런 편향을 제거하고 논리적인 결정을 하기위한 방법에 대해서 이야기를 나누어 볼까 합니다.
1. 확증 편향 Confirmation Bias
확증편향 Confirmation Bias인지편향 cognitive bias을 이야기 할때 대표적으로 가장 흔하게 언급되는 편향입니다. 자신이 옳다고 생각하는 것에만 정보는 받아들이고 신념과 일치하지 않는 정보는 무시하는 경향으로 보고 싶은것만 보이고, 듣고 싶은것만 들리는 경향을 이야기 합니다. 틀린점을 발견하거나 지적 받는다고 해도 그 사실을 인정하려 하기 보단, 본인의 생각이 옳다는 것을 확인시켜줄 정보자료를 찾는데 급급할 뿐, 진실이 중요하지 않은 경향을 보입니다. Filter bubble과 같은 인터넷 검색의 개인 맞춤화 - 특정 단어에 관심이 있어 검색을 하게되면 , 내 인터넷환경에 그에 연관된 정보와 광고가 지속적으로 노출이 되는 현상- 되면서 '확증편향'은 더욱 빠져나오기 힘든 성향을 갖습니다.
프로덕트 매니저가 본인은 가장 전문적 업무능력이라고 신념을 갖고 있는 편향입니다. "이 부분만큼은 내가 제일 잘 알아"하는 부분이죠. 그러기에 내가 전문가 senior/expert 영역에 들어갔다고 생각하는 순간부터, 나의 가정이나 시나리오를 테스트하기 보다, 뒷받침하는 자료를 찾습니다. 또는 그것이 전문가 경험에 기초했다고 할 수도, 베스트프랙티스라고 주장할 수 있습니다. 확증편향의 가장 큰 폐해는 '당신의 의견이 틀렸다'라는 의견을 무시하기 매우 쉽다는 점입니다. 또한 이 확증편향은 결과적인 반대의견을 받아들이지 않는다는 단점보다 더욱 심각한 점을 갖고 있으니 바로 그것은 지속적으로 제품/서비스를 만드는 프로세스에 영향을 미친다는 의미에서 가장 경계해야 할 편향입니다. 그 해당 예를 들어서 설명해 보겠습니다.
요즘 제품/서비스를 런칭하려 한다면, 엔지니어링 그룹에서는 사용자리서치나 고객의 요청 requirements결과를 잘 분석하는 일이 처음이 될 것입니다. 많은 분들이 확증 편향의 시작은 사용자요청사항과 피드백을 받아서 분석하는 단계에서 시작할 것이라고 생각하겠지만, 이미 사용자/고객에게 전송된 온라인/오프라인 설문이나 인터뷰 내용이 무의식적으로 편향을 포함 한 구성으로 시작되었을 수 있습니다.
기존의 수많은 기능중에서 사용자님이 원하는 특정 기능 X를 찾는것은 얼마나 어려운가요?
매우 전형적인 리서치 질문 혹은 조사 설문 일 수 있습니다. 그러나 위의 질문은
1. 이미 '얼마나 어려운가'라는 단어를 사용함으로, 사용자가 '어렵지 않다 또는 쉽다'라는 대답할 생각을 매우 어렵게 만듭니다. 이미 '어렵다'는 것을 질문에 내포하고 있으며 설문대상자에게 은연중 '조금 혹은 매우 어렵다'중에 선택하라는 유도 질문 leading question 입니다.
2. 또한 그 어려움의 원인을 이미 '수많은 기능'이라는 말로 제공함으로 원인의 정당성을 부여하고 있습니다.
3. 답을 얻는 방법 역시 스케일 (0부터 5까지, 혹은 별 다섯개중에 표시)을 사용함으로서 이미 전제된 한쪽 부분의 데이터를 강요하게 됩니다.
위와 같은 질문에서 얻어진 데이터는 사용자의 본심을 충분히 정량화하기에 이미 왜곡되어 있습니다. 이 왜곡된 데이터로부터의 결정 역시 실제 사용자가 원하는 의견을 제대로 반영했다고 하기는 어려울겁니다. 위와 같은 질문은 다음과 같이 바꾸어 볼 수 있습니다.
사용자님은 특정 기능 X을 찾는데 어려움이 있었나요? 있다면 그 이유는 무엇인가요?
위의 질문은
1. 이미 전제된 대답을 강요하지 않는 '예 / 아니오' 로 대답의 양면을 선택할 수 있도록 가이드를 하고
2. 해당 상황일때만, 그 이유를 얻을 수 있기에, 첫번째 질문처럼 한쪽면으로 몰고 가는 왜곡을 방지 할 수 있습니다.
3. 얻어지는 데이터 역시 충분히 다양하게 정제되어 실제 결정에 도움이 되는 고품질입니다.
A/B 테스팅을 할때도 PM의 인사이트가 UX디자이너의 기술적 의견이나, 의미를 함축한 통계데이터보다 중요하게 결정요소가 되는 경우도 종종 있습니다. 다행스럽게도 그 통계 데이터를 선택의 기준으로 삼았다고 해도, 그것을 보여주는 대시보드의 지표가 이미 편향되어 있기도, 아니면 긍정적 지표만 이용하는 경우도 많습니다. 고객/사용자가 에스프레소 보다 아메리카노를 많이 선택했다고 그것이 답이 아닐 수 있다는 말입니다. 아예 커피를 좋아하지 않는 고객도 많이 있다는 사실에 집중할 수 있어야 한다는 말씀입니다.
일본의 유명한 경영컨설턴트인 고미야 가즈요시의 말이 확증편향을 가장 잘 대변해 줍니다.
관심을 가지면 보인다. 믿음을 가지면 보이지 않는다.
※ 확증편향을 피해보려는 연습
0. 나는 편향을 갖고 있다는 사실을 늘 인식하고 받아드립니다. (너무 당연하지만, 가장 중요한 인식입니다)
1. 사용자리서치/서베이/피드백 질문시 반드시 대답의 스코프를 제한하는 유도 질문 leading questions을 철저하게 제한하십시오.
2. 여러계층을 대표하는 고객/사용자/동료/관계자로부터 균형된 피드백을 받으세요. 확증편향은 수집데이터가 많으면 많을수록 약해지는 경향을 갖습니다.
3. 목표치 설정을 팀리더 (개발, 디자이너, 프로덕트리더십..)들과 함께 셋팅을 하거나, PM이 직접 리더들에게 '왜'에 대한 배경을 꼭 설명하고 의견을 구하세요.
4. 매 결정시 'what'이 아닌 이 결정이 필요했던 배경 'why'를 충분히 만족하는지 리뷰하세요.
2. 매몰비용 오류 (편향) Sunk-cost Fallacy (bias)
이 편향을 가장 쉽게 설명될 수 있는 장면이 아닐까 합니다. "묻고 더블로 가!" 뭔가 불확실하고, 별로 승산도 없어 보이는데 지금까지 매몰된 비용 생각과 오기가 합쳐져서 나타나는 현상이지요.
존경하는 경영그루들이 늘 하는 말씀은 '비즈니스는 언제 시작하는냐 보다 어디서 멈추는지를 아는것이 훨씬 중요'하다고 합니다. 노키아와 블랙베리의 성공을 이끌었던 그 많은 유능했던 프로덕트매니저들은 iOS가 그들의 시장을 잠식할때 그 한물간 심비안Symbian이나 Blackberry OS를 갖고 무리한 경쟁을 왜 계속했을까요?
카메라필름의 최강자였고, 디지털 카메라를 최초로 개발했으면서도 시장에서 사라진 코닥Kodak의 운명은 누가 결정한것이었을까요? 재미없는 영화임에도 불구하고 이미 투자한 시간때문에, 남들 눈치때문에 영화가 끝날때까지 영화관에서 나오지 못하고 지루한 시간을 보낸적이 있지 않으신가요?
매몰비용 오류 편향은 이미 투자한 시간, 노력, 비용 때문에 미래에 대한 불확실하나 부정적인 결과를 예상함에도 불구하고 그 투자와 작업을 지속하고 있는 상황을 이야기 합니다.
이러한 상황은 기존의 프로덕트/프로젝트에 장미빛 미래가 보장이 안되는 상황임에도 불구하고 더 투자가 필요한지, 아니면 깨끗이 접고 새로운 부가가치를 만드는 쪽에 전력을 기울일지를 결정하는 순간에 발생을 합니다. 오래된 php 코드를 접고, node.js로 다시 시작하는 것이 좋은지, 예정보다 기간과 비용이 계속 늘어나는 프로젝트를 지속하는것이 좋을지, 끝내야 하는지를 결정할때도 나타납니다. 당신이 신규가 아닌 출시된지 꽤 된 프로덕트/서비스에 새롭게 PM으로 신규 배정을 받은 상황이라면 당신 역시 희생자 중의 한명일 수 있습니다. 하지만, 여러분이 집중해야 할 결정포인트는 이번에 당신이 내릴 수 있는 한번의 결정은 다음번 이와 같은 경우에 방향을 바꾸기 더욱 더욱 어렵게 만드는 결정일 수 있다는 점입니다. 그리고 그것은 잘못된 결정일 경우 그 존재자체를 없앨수 있는 무서운 결과로 나타날 겁니다.
그럼에도 불구하고 이러한 상황에 처하게 되면 많은 경우에 기존의 상황을 이어가는 쪽으로 결정을 하게 됩니다. 또한 당신은 당신의 자존심을 지키기 위해 어쩌면 동료들을 상대로 당신의견을 로비하고, 결정을 담합하고 있는지도 모릅니다. 그러나 사실 이런 결정에는 손실회피성 Loss Aversion이라는 심리적요소가 편향을 만들게 됩니다. 손실회피성이라고 하는것은 인간이 이익을 얻을때의 기쁨보다 손해를 볼때의 고통이 1.5배에서 2배까지 더 강하다고 하는 것 입니다.
손실회피성은 이익만족도와 균등하지 않습니다.본인이 PM인 경우는 미래의 투자대비이익ROI가 낮게 예상되는 제품/서비스에도 불구하고 투자를 지속함으로 실패를 피하고자 위험을 감수합니다. 이렇게 잘만 진행되면 훨씬 나아질 수 있을것이라 희망을 품으면서 말입니다. 내 동료 PM이 이런 프로젝트를 진행하고 있으면 '이건 미친짓이니 당장 다른 방법을 세워라'라고 쉽게 이야기 하는데도 말입니다. 이런 이유들이 오래된 골리앗 기업들이 다윗같은 스타트업을 만났을때 게임의 룰에 당황하고, 게임에서 허무하게 패배하는 결과로 나타나기도 합니다. 물론 이 부분은 기존 제품/서비스의 사용자/고객이 많은경우나 매출의 의존도가 높은 경우에도 발생할 수 있으며, 그때는 전략적 결정을 통해야 한다는 점을 또한 말씀드립니다. 매몰비용 오류 편향는 예상되는 ROI가 매우 낮은 경우에도 지속적으로 정당성을 부여하는 비논리적으로 진행을 계속하는 경우입니다.
※ 매몰비용 오류(편향)를 피해보려는 연습
PM의 이런 편향을 갖고있다면 그건 바로 잘못된 결정으로 이어지고, 그것은 그 제품/서비스의 존재에 영향을 줍니다. 간단하지만 중요한 지표가 될수 있는 질문을 해 봅니다.
"만약 지금 이 제품/서비스에 전사가 목숨을 걸어야 하는 상황이어도 이런 결정을 할것인가?"
"기존의 코드가 모두 날라가서 없어졌음에도 이런 방법으로 코드를 유지보수 할것인가?"
"내 동료가 진행하는 프로젝트임에도 내가 그것이 옳다고 해 줄 수 있는가?"
위와 같은 매우 솔직하고 용감한 질문이 도움이 될 수 있습니다.
또한 실패를 바라보는 PM의 철학 역시 성숙되면 더 할 나위없이 좋겠네요.
3. 이케아 효과/편향 IKEA Effect/Bias
글로벌 DIY가구 및 생활용품 회사 이케아의 이름을 딴 재미있는 편향입니다.
"일반적으로 사람들은 본인이 직접 만든 제품에 대해서는 실제보다 더욱 큰 가치를 부여한다" 는 효과입니다. 이케아 가구나, 레고 장난감과 같이 본인의 노력과 노동이 들어가면 그 결과물에 대한 가치평가가 실제가치보다 훨씬 높게 된다인데, 이런 부분은 프로덕트 매니저들에게도 많이 나타나는 편향입니다.
노력을 들였다면 그것에 해당하는 정당한 평가를 받을것이다라고 믿습니다. 하지만, 비즈니스세계에선 꼭 그 상황이 일치하지는 않죠. 프로덕트 매니저가 꼼꼼하게 사용자 요구사항을 분석하고 전략을 세웠다고 해서, 꼭 그 제품/서비스가 성공하지는 않습니다. 그러나 그 상황을 내 노력과 투자를 기준으로 생각을 하면 받아들이기 힘들어 집니다. 이런 경향은 바로 위에서 설명드린 '매몰비용 오류편향' 현상으로 나타나기도 합니다. 내가 노력을 이만큼 기울였으나 이번에 성공적이지 못한것은 다른 환경탓이지 나와 우리팀의 탓이 아니다라고 돌리게 됩니다. 또한 다른 면에서는 PM이 개발자나 디자이너 출신인 경우에도 그 편향이 짙게 나타납니다. 물론 조금 특별한 애정이라고 해석될 수도 있지만, 우리팀이 생산한 코드, 디자인프로세스는 다소 비논리적이고, 배타적으로 옹호하고 어필하는 경우도 많고, 개발자 출신의 PM인 경우 개발자들의 의견과 목소리에 훨씬 귀를 기울여 주고, 무게감을 준다던지, 실패에 있어서도 훨씬 관대한 평가를 내리는 편향이 나타나기도 합니다.
자신의 성과에 자부심과 자긍심을 갖는것은 당연하지만, 노력과 투자부분이 PM이 가져야 하는 제품/서비스의 성공 결과 보다 강조 되는 부분은 경계해야 할 편향입니다. 이케아 효과로 부풀려진 본인의 열심과 노력 부분이 궁극적인 제품의 경쟁력과 마켓쉐어보다 중요할수는 없기 때문입니다.
※ 이케아 효과(편향)를 피해보려는 연습
0. 내가 PM으로서 개발/디자인/지원팀간 적절한 조율을 하고 있는지 항상 체크합니다.
1. 올바른 성과지표를 프로젝트 시작에 맞춰 준비하고, 지속적으로 리뷰해야 합니다.
2. 팀 전체가 팀간의 우위를 경쟁하는것이 아닌 제품/서비스를 성공시킨다는 공통의 목표를 꾸준히 자주 주지시킵니다.
3. 우리팀의 결과물을 다른팀에 제공한다던지 하는 크로스레퍼런스를 적극 활용하고, 타사의 경쟁 제품/서비스에 대한 분석을 본인의 고객/사용자의 관점에서 진행해 봅니다.
4. 오류 합의 편향 False-Consensus Bias
매우 빈번하고도 끊임없이 그리고 모든 부분에서 공통적으로 일어나는 편향입니다. 내가 생각하고 행동하는것처럼 다른 사람도 분명 그럴것이다 라는 '오류 합의'를 하는 편향입니다. 엔지니어링 시니어나 전문가 레벨에서 더욱 짙게 나타나는 경향입니다. UX 디자이너의 경우 본인이 UX플로우 대로 모든 사용자/고객이 이용할 것이다라고 생각합니다. PM은 시장이 이렇게 흘러가니 이런 기능이 반드시 필요하고 그것은 이렇게 구성되는게 맞다고 생각합니다. 모두 다 자신의 렌즈로 제품을 구성하니 나타나는 현상이지요. 이 상황이 조금더 발전하게 되면, 팀 모두가 같은 생각을 같게 되고, 이 생각과 다른 아이디어나 생각을 가진 사람들은 배제되거나 무시되는 현상이 나타납니다. 조금 더 발전하면, 위에서 설명한 확증편향 confirmation bias로 발전을 하여 모든 결정이 이 방향이 옳다는 쪽으로 나오게 됩니다. 그러나 세상은 내가 생각하는 것보다 훨씬 다양한 방법으로 살아가는 사람들과 생각들로 가득차 있습니다. PM으로서 내가 치열하게 고민해야 하는 이유가, 바로 그 안에 공통의 함수를 담는 노력을 해야 하기때문입니다.
※ 오류 합의 편향을 피해보려는 연습
0. PM 본인의 목표을 항상 명확히 리뷰하고 팀멤버들과 함께 리뷰합니다.
"이 제품/서비스/기능은 고객/사용자에게 과연 합당한 것안가?"
1. 고객/사용자에게 내 목표를 설명하고 그것이 맞는지 확인하는 절차를 갖습니다.
2. 제품/서비스가 만들어지는 과정에 다양한 사용자군과 프로덕트팀간의 피드백프로세스를 명확하게 디자인하여 서로간의 생각의 오차를 줄여갑니다.
프로덕트 매니저는 쉽지 않은 일입니다. 그들은 여러개의 팀들 사이에 끼어서 살아갑니다. 엔지니어링 내에서 뿐만 아니라 한쪽은 비즈니스 쪽과도 관련이 있지요. 회사내, 고객, 시장의 요청에 따라 수많은 요구사항을 만들어 엔지니어링이 이해하는 언어로 써서 커뮤니케이션을 하고, 그 진행을 합니다. 이러한 업무 환경에서 PM은 또한 편향을 갖는 결정을 피해야 합니다. 여러분이 편향에 대해서 알고 공부했다고 해서 완전히 자유로울수는 없지만, 최소한 우리의 뇌와 습관이 어떻게 우리의 이성을 속이려 하고 있다는 것을 알고 있다면, 그것에 대해서 경계하고 조심하면서 조금은 명확한 사고와 좀더 나은 의사결정을 할 수 있을것입니다.
여러분들의 힘이 들기도 하지만, 발을 내딛는 새로운 도전과 노력에 늘 응원을 보냅니다.
