by
Mar 07. 2021
'뇌피셜'을 막는 6단계 체크리스트
수많은 실험에서 얻은 '인생' 주의사항
대통령 선거가 1년 남짓 남으면서 유력한 대선 후보들에 대한 정치 기사들이 매일같이 포털 사이트 첫 화면에 등장한다. '안 봐야지' 하면서도 클릭하고 읽어보면 고구마를 먹은 것처럼 답답하다. '나는 맞고 너는 틀리다'는 프레임 안에서 시비와 비방으로 가득한 댓글들을 보면 더 그렇다. 왜 그럴까? 우리는 언제까지 편을 가르고 싸우기만 해야 할까? 노벨 경제학상을 수상한 심리학자이자 <생각에 관한 생각>의 저자 대니얼 카너먼은, 인간의 직관이 편향되어 있기 때문이라고 말한다. 즉, 우리의 직관은 분명한 결함을 가지고 있고, 감정과 편향으로 뒤범벅이 된 (뇌피셜이 가득한) 판단을 내리기 때문에 문제가 발생한다는 것이다. 수많은 전문가의 예측이 틀리는 것도 같은 이유다.
터틀록이 내린 결론은 학계를 엿 먹이는 것이었다. 그가 살펴본 전문가들은 직업이 뭐든 간에, 경험을 얼마나 오래 쌓았든 간에, 전공 분야가 뭐든 간에 하나같이 동전을 던져 판단을 내릴 때보다 낫지 못했다. 이들이 한 예측 결과는 지극히 초보적인 통계 방법론을 동원해 정치적 사건들을 예측한 것보다 못했다. 이들은 지나치게 자신만만했지만 확률을 계산하는 데는 참혹하리만치 엉터리였다. 이 전문가들이 절대로 일어나지 않을 것이라고 주장한 사건 가운데 약 15퍼센트가 실제 현실에서 일어났다. 또 반드시 일어날 것이라고 한 사건의 약 25퍼센트는 일어나지 않았다. 경제, 정치, 국제관계 등 그들의 예측은 국내외를 가리지 않고 터무니없이 빗나갔다. -<신호와 소음>, p.89
'전문가들이 절대로 일어나지 않을 것이라고 주장한 사건 중 15퍼센트가 실제로 일어났으며, 반드시 일어날 것이라고 예측한 사건 중 25퍼센트는 일어나지 않았다'는 사실에 주목해 보자. 전 세계 모든 분야의 유명한 전문가들을 망라한 조사 끝에 <신호와 소음>의 저자 네이트 실버는 모든 인간은 판단을 내릴 때마다 편견이 개입될 수 있다는 걸 인정해야 한다고 강조한다. 우리가 일상 속에서 내리는 직관의 편향은 이런 것이다. 찾아보면 더 나은 방법이 있음에도 불구하고 기계적으로 하던 일을 계속하는 것, 미래에 닥칠 상황을 무시하고 현재의 비용과 편향을 지나치게 중시하는 것, 세상에 편견이 존재한다고 생각하면서도 나는 그렇지 않다고 믿는 것 등이다.
일단 우리가 뇌피셜로 똘똘 뭉쳐져 있다는 것을 인정한다면, 불완전한 우리의 직관을 보완할 수 있는 방법은 없을까? <실험의 힘>에서는 "실험"이 답이 될 수 있다고 여러 사례를 통해 설명한다. 실험을 통해 더 많은 정보를 근거로 결정을 내릴 수 있고, 기존의 프로세스를 효율적으로 만들 수 있으며, 이해 당사자들에게는 자신의 존재 가치를 입증하거나 정책 목표를 달성할 수 있기 때문이다.
요컨대 실험을 실시해야 문제점이 표면화되고,
혁신적 조치의 어떤 면이 효과적이고,
어떤 면이 의도하지 않은 결과를 낳으며
역효과를 불러일으키는지 알아낼 수 있어,
관련된 프로젝트를 확대해 실시하기 전에 수정할 수 있다.
이 책에서 가장 인상적이었던 실험은 영국에서 체납자에게 보낸 세금 독촉 편지였다. 영국 국세청은 체납자에게 보내던 기계적인 세금 독촉 편지에서 한 문장을 바꾸는 것만으로 유의미할 정도로 많은 세금을 거두어들였다. 결과적으로는 좋았지만, 국세청이 야심 찬 공무원 오웨인 서비스 Owain Service에게 이 실험을 제안받은 이후 진짜 실험이 시작되기까지는 몇 년이 걸렸다고 한다. '괜히 긁어 부스럼을 만드는 것은 아닐까? 비용은 많이 들지 않을까? 쓸데없는 짓을 하는 건 아닐까'와 같은 현재 편향 때문이다. 첫 실험 이후 많은 팀이 처음의 세금 독촉 편지 실험을 되풀이했고, 질적으로 일관된 결과를 얻자 영국 국세청의 실험의 유효성에 대해 강한 의심은 효과적이라는 확신으로 바뀌었다.
하지만 여기서 중요한 것은 그들이 실험을 계속한 목적이 '효과가 정확히 1퍼센트인지 2퍼센트인지' 알아내기 위한 것이 아니라는 점이다. 그들이 원했던 것은, "주어진 상황에서 최종 결과를 개선하는 데 도움을 주는 증거를 찾아내 이해 당사자들에게 보여 주는 것이었다." 다시 말해서, 사람들이 더 나은 결정을 내릴 수 있도록, 잘못된 직관을 증거로 대체하기 위한 것이었다.
실험은 중요하다. 모든 조건이 똑같을 때, 어떤 결과가 최선을 모르는 상황이라면 실험의 가치는 더욱 높아진다. 하지만 실험이 무조건 좋다고 무턱대고 하기에는 주의해야 할 것이 너무 많다. 다음은 <실험의 힘>에서 소개된 여러 실험의 교훈을 정리해 보았다.
1. 상관관계와 인과관계를 구분하자
실험 자료를 해석할 때 쟁점에 대한 깊은 이해와 판단이 필요하다. '담뱃값이 오르면 흡연율이 낮아질까'에 대한 실험은 상관관계는 있으나 인과관계는 분명히 밝혀지지 않은 상태다. 인상률의 폭, 경제 상황, 개인 소득, 지역 등 고려해야 할 다른 요인들이 너무 많기 때문이다. 데이터는 많아졌지만 어떻게 사용할지는 신중하게 생각해야 한다. 적절한 결과의 선택은 여전히 중대한 과제이다.
2. 실험을 실행하는 단 하나의 완벽한 방법은 없다
노벨 경제학상을 수상한 앨빈 로스는 한 번의 특별한 실험보다 '일련의 실험'에서 배운 것을 자주 언급한다. 실험을 되풀이함으로써 더 많은 통찰을 얻을 수 있으며, 이를 통해 다양하고 효율적인 메커니즘을 알아낼 수 있다.
3. 실험을 설계하기 전에 답을 미리 정해놓지 말자
<신호와 소음>에서 분석 작업을 할 때 어느 한쪽을 응원하는 마음은 접어두어야 한다고 말한다. 즉, 우리가 '응원하려는 마음'과 '우리가 다루는 사실'은 흔히 서로 모순된다.
4. 맥락이 중요하다.
이 지구의 어느 곳에 사느냐에 따라 문화적 차이가 존재하고, 동일한 넛지에도 다르게 반응할 수 있다는 것을 인정하자. 심지어 조직의 크기와 성격에 따라 유사한 실험도 결과가 완전히 달라진다. 경쟁자가 소수인 이베이는 광고가 효과가 없었지만, 덜 알려진 소규모 회사는 브랜드 인지도가 높아지는 효과를 누렸다. 다시 말해서 실험실 연구나 다른 현장 연구에서 얻은 아이디어를 곧이곧대로 적용할 것이 아니라, 새로운 영역에서 여러 결과를 끊임없이 검증해 보아야 한다.
5. 의도하지 않은 결과도 생각해야 한다.
실험이 어려운 부분은 특정한 상황에서 사회 규범을 사용해야 하는지, 사용하면 어떻게 사용해야 하는지 판단해야 한다는 점이다. 실제로 선의의 행동과학적 조치가 아무런 효과가 없고 심지어 역효과를 불러일으키는 경우가 너무 많다...
6. 단기적인 결과와 장기적인 결과의 관계를 고려하자
결과를 추적할 때는 충분한 시간을 두고 생각해야 한다. 단기적으로 좋았던 결과도 (ex. 일시적인 수익 개선) 장기적으로는 나쁜 결과 (ex. 구독자 감소)로 이어질 수 있다는 것을 인지하고 실험을 계획해야 한다. 모든 가능성을 분석할 수 없기 때문에 어떤 관점을 취할지, 무엇에 우선순위를 둘 것인지를 사전에 결정해야 한다. 각 경우에 어느 정도 신경 쓰느냐에 따라 결과에 대한 반응이 달라진다.
(사진: 연합뉴스)경기도가 올 하반기에 ‘농촌 기본소득 사회 실험’을 시작한다. 도내 1개 면을 선정해 모든 주민에게 5년간 1인당 월 15만 원씩(연 180만 원) 지역화폐로 기본소득을 지급하고, 주민 삶이 어떻게 변화하는지 살펴보는 프로젝트다. 농촌 기본소득 사회 실험은 국내는 물론이고 경제협력개발기구(OECD) 36개 가입국에서도 처음으로 시도되는 것이라고 도는 밝혔다. -한국경제, <"1인당 年 180만 원 지급"… 이재명 표 '농촌 기본소득' 실험>
<실험의 힘>을 읽고 나서 최근 이슈가 되고 있는 기본소득 실험에 대해 관심이 생겼다. 아직 최종안이 확정되진 않았지만, 경기도에서는 실험 지역으로 선정된 1개 면의 실거주자 4000여 명에게 소득 수준과 상관없이 월 15만 원씩 5년 간 지급하는 방안을 검토 중이라고 한다. 2017년 265억을 투입했던 핀란드의 기본소득 실험은 취업 장려 효과는 적었으나 우울감이나 외로움은 상대적으로 더 적고 타인과 사회기관을 더 믿게 되었다는 결과를 보았는데, 실험의 목표가 무엇인지, 실험이 고려하는 우선순위가 무엇인지에 따라 효과를 판단할 수 있을 것이다. 경기도는 “기본소득의 효과를 입증하고 사회적 갈등과 기회비용을 줄이는 한편 지역 소멸이 우려되는 농촌 지역의 경제 활성화를 도모하기 위한 것”이라고 하는데, 농촌의 소외된 지역에 정부가 지원을 해주는 부분은 좋으나 과연 월 15만 원의 효과가 얼마나 될지는 궁금하다.
경기도가 알아서 잘하겠지만... 나는 실험의 결과보다는 과정에서 조금 아쉬움이 남는다. 실험 결과에 대해서 너무 확신을 가지고 있는 부분이 불안하다. 지나친 자신감은 많은 정보를 통해 진리를 파악하는 것이 아니라 오히려 데이터를 원하는 방향으로 동원하는 경우가 너무 많기 때문이다. 심지어 아인슈타인의 상대성 이론을 증명해 낸 에딩턴도 당시 실험이 편향되어 있었다고 평가받고 있지 않은가.
그 결과를 버렸다면 (완벽함과는 거리가 멀었던) 프린시페 결과도 버렸어야 마땅했다. 에딩턴은 그렇게 하지 않았으므로 그는 편향되어 있었던 게 분명했다. 에딩턴은 원정 전에도 이미 자신이 상대론을 옳다고 생각했다고 인정했었고, 그에게는 긍정적인 결과를 원할 정치적 이유도 있었다. -<아인슈타인의 전쟁>, p.537
나는 <실험의 힘>에서 '실험'의 가장 기본적인 태도이자 핵심은 겸손이라는 결론을 얻었다. (글에서 함께 인용된 다른 책들도 마찬가지다) '나는 맞고 너는 틀렸다'는 것을 증명하기 위한 실험이 아니라, 나도 틀릴 수 있음을 인정하는 겸손함이 필요하다. 그렇기 때문에 실험이 필요하다고 설득하는 과정이 필요하다. 불확실한 세계에서 인간은 오류 투성이라는 것을 인지하고, 어떤 구체적인 목적을 가지고 최선의 선택 안이 무엇인지 찾아내기 위해 실험을 하는 것이라고 설득하는 것이다. 사실 이 교훈은 인생의 모든 삶에 적용된다. 어쩌면 우리 인생 그 자체가 실험일 수도. 그러고 보니 위에 정리한 실험의 여섯 가지 주의 사항은 인생 주의사항이라고 바꿔도 좋겠다.
많은 정보를 지닌 사람은 결국 실험의 지지자가 되기 마련이다. 그러나 실험의 진정한 지지자가 되려면 불확실성도 인정할 수 있어야 한다. 우리가 노력을 기울이더라도 새로운 아이디어가 효과적이지 않다는 것으로 결론지어질 수 있다는 걸 인정해야 한다는 뜻이다...(중략) 따라서 어떤 정책 질문의 답을 모르면 모른다는 것을 인정하고 실험을 통해 그 답을 찾도록 정부 관리를 독려할 수 있어야 훌륭한 시민일 것이다. 또 훌륭한 시민이라면 넛지 유닛이 무엇인지 아는 정치인을 후원하고, 세계 어디에서나 그런 정치인이 더 효율적인 정부를 만들어 갈 수 있다고 믿어야 할 것이다. -<실험의 힘>, p,288
