확률을 알 수 없는 것의 확률을 예측하는 방법
슈퍼예측. 필립 테틀록, 댄 가드너 지음
성공 확률 50% vs 성공 확률 80%
이 두 가지 선택지를 주고 무얼 선택하겠느냐고 질문하면 거의 대부분은 80%를 선택한다. 대부분이라 얘기한 건 질문자의 의도에 넘어가지 않겠다고 본인 스스로 온갖 가정을 덧붙여서 50%를 선택하는 사람들이 매우 드물게 있긴 있어서다. 이런 자의식 과잉인 사람들을 제외한다면 대부분은 80%를 선택한다.
이처럼 확률은 선택을 내리는데 매우 중요한 가이드라인이 되며 그 선택의 결과를 가늠하는데도 도움이 된다는 점에서 딱 한가지 문제점만 제외하고 보자면 매우 훌륭하다.'사람들은 확률을 제대로 이해하지 못한다'는 점을 제외하면 말이다.
사람들이 확률을 제대로 이해하지 못한다의 대표 사례가 바로 도박사의 오류다. 주사위 게임이든 카드 게임이든 룰렛이든 홀수 혹은 짝수에 베팅할 수 있다. 이때 홀수나 짝수가 나올 확률은 50%다. 여기까진 누구나 다 아는 내용이다. 그런데 만약 여기서 짝수가 연속으로 나오는 경우는 어떻게 될까?
Rachel Croson, James Sundali, “The Gambler’s Fallacy and the Hot Hand: Empirical Data from Casinos”위의 그래프는 홀수/짝수라는 양자택일 베팅에서 짝수가 반복되었을 때, 각 베팅의 비중을 나타낸 것이다. 보통 3회 연속으로 나올 때까지는 홀수와 짝수가 각각 50% 언저리의 비중을 차지하고 있지만 4회 연속이 넘어가면서부터는 홀수쪽으로 급격하게 몰리기 시작한다.
짝수가 연속으로 나올수록 사람들이 홀수에 몰리는 이유는 간단하다. 이제는 홀수가 나올 때가 되었다는 거다. 홀수가 나올 확률이나 짝수가 나올 확률은 각각 50%니까 두번에 한번 정도는 홀수가 나와야 하는데 짝수가 연속으로 나오고 있는 상황이니까 50%라는 확률에서 크게 벗어난 것이고 이것이 균형이 되려면 이제 홀수가 나와줘야 한다. 실제로 짝수가 4번 연속으로 나올 확률은 6.25%고 6번 연속으로 나올 확률은 1.5625%라는 매우 낮은 확률이다. 그러니 이제는 홀수가 나와야 한다고 다들 믿고 홀수에 베팅이 몰리는 것이다.
그렇다면 앞서 6번 짝수가 나온 상황에서 이번에도 짝수가 나올 확률은 어떻게 될까? 정답은 50%다. 심플하다. 전판에 짝수가 나온 것이 이번 판에 영향을 미치지 않는다. 이건 각 판마다 독립적인 게임이기에 앞서 짝수가 6번이 나오건 12번이 나오건 이번판의 확률은 그냥 50%인거다.
이게 쉽게 이해되지 않을수도 있다. 그만큼 확률이란 우리의 직관에 맞지 않는 개념이다. 그나마 정확하게 확률을 아는 경우에도 이와 같은 혼동이 생기기 쉽다. 그렇다면 확률을 정확하게 알지 못하는 경우(보통은 이를 불확실성이라 한다)는 어떨까?
이 대표 사례가 일기예보다. 일기예보에서도 중요한 예보는 대비가 필요한 비나 눈인데 이 비나 눈의 경우 일기예보에서는 확률로 표시한다. 내일 비올 확률 50%, 내일 비올 확률 80% 이렇게 말이다. 그렇다면 비 올 확률을 80%로 예상하고 예보했을 때 비가 오지 않았다면 이것은 틀린 것일까? 노노노 그렇지 않다. 이걸 틀렸다고 생각한다는 것 자체가 확률을 제대로 이해하지 못한다는 증거다. (자세한 내용은 매경에 기고한 글로 대체한다)
이처럼 확률에 대한 이해가 없는 상태에서 그걸 알고 있다고 착각하고 이야기를 하다보니 확률에 대한 언급은 그야말로 아무말 대잔치가 열린다. 특히나 미래에 대한 전망과 그 확률을 할 때는 아무말이 극에 달한다.
미래에 예상되는 일에 대한 확률을 이야기 하는 사람들이 그 확률의 근거와 근거가 되는 숫자가 어디에 있는지를 밝히고 이야기 하는 것을 본 적이 있는가? 대부분 그냥 이야기할 뿐이다. 그렇기에 '80%로 예상합니다' 같은 말은 그럴싸 해보여도 대부분 의미가 없는 말장난에 불과하다. 이건 예측같은게 아니다.
필립 테틀록이 쓴 [슈퍼예측]은 바로 이처럼 불확실의 영역에서 정확도 높은 예측을 하기 위해선 어떠한 방식으로 확률과 숫자를 활용하며 무엇을 기준으로 삼아야할지에 대해 다루고 있다. 전문가라 해도 전망과 확률을 제대로 하는 것은 아니기에 전문가보다 더 높은 적중률을 보이는 예측을 하는 사람들을 '슈퍼예측가'로 정의하고 이 슈퍼예측가들이 어떠한 방식으로 예측을 하는지를 살펴보는 책이다.
책의 제목과 '전문가보다 더 예측을 잘하는 일반인'에서 뭔가 사짜의 냄새가 난다고 생각할 수 있겠지만 책 내용 자체는 정말 좋다. 아마 한스 로슬링의 [팩트풀니스]를 읽어본 사람이라면 이 책의 사례와 내용들이 익숙할 수 있을 것이다. 당연한게 팩트풀니스에서 이 책을 정말 많이 인용한 탓이다. 책의 퀄리티는 그 정도로 좋다.
책의 전반부는 확률이 의미하는 바와 숫자의 개념에 대해 이야기하고 있고 후반부에는 어떠한 방식으로 무엇에 근거하여 예측을 해야하는지를 슈퍼예측가들의 사례를 들어 다루고 있다. 워낙 많은 내용을 담고 있는 만큼 짧게 정리하기는 어려우나 슈퍼예측에서 이야기하는 슈퍼예측가들의 공통점은 [소음과 신호]에서 네이트 실버가 이야기한 여우형 전문가와도 비슷한 부분이 많다는 점은 시사점이 크다. 쉽게 단순화하고 단정짓는 과감함은 유능함으로 인식되기 쉽지만 진정한 유능함은 신중함과 다양한 요소들을 고려하는 능력이라는 얘기다. 단순화를 통해 쉽게 단정짓는 것으로 전문가 행세하는 업자들이 많고 이들이 전문가인양 숭배받고 있는 것을 생각하면 책에서 언급하는 슈퍼예측가의 초상은 진짜 전문가가 누군지에 대해 생각할 거리를 던져준다.
현상을 예측해야 한다는 이 책의 반대 입장에서 있는 책이 있다면 그것은 바로 나심 탈레브의 [블랙스완]이다. 탈레브는 예측 가능한 일은 현상에 아무런 변화를 주지 못하므로 이를 예측하고 대비하는 것보단 예측 불가능한 사건인 블랙스완이 현상과 시스템을 변화시키는 유의미한 사건이므로 거기에 초점을 둬야 한다는 태도를 취한다. 저자인 테틀록도 그걸 잘 알고 있기에 책의 후반에서 탈레브와의 입장 차이에 대해 써두긴 했다. 우선 진정한 의미의 블랙스완은 거의 존재하지 않으며 대부분 예측은 되었지만 그냥 넘어가고 마는 그레이스완이기에 예측은 여전히 중요하다는게 저자의 입장이다.
사실 탈레브의 지적은 현실성이 떨어진다. 그래서 뭐, 무예측으로 살아가야 하는가? 어떠한 현실이건 우리는 각자의 방식으로 각각의 상황에 따라 어림짐작이라도 예측을 하면서 살아간다. 그 예측에 좀 더 정확도를 기하는 것이 무의미한 행동이라 생각지는 않는다. 이것도 필요하고 저것도 필요한 법이니까.
다만 그렇게 구한 예측을 어떻게 활용해야 하는가는 선택과 의사결정에 있어서 문제로 남는다. 예를 들어 어떤 현상을 63%의 확률로 예측하고 다른 현상을 72%로 예측했다고 치자. 이 숫자를 가지고 우리는 어떤 행동과 결정을 내려야 하는가? 63%와 72%는 어떤 차이가 있고 행동에는 어떤 차이를 만드는가? 선택에는 행동을 필요로 한다. 그 점에서 예측은 중요하지만 예측으로 도출된 숫자는 행동과는 별개일 수밖에 없다. 이 점은 아마 책을 읽는 내내 고민거리로 남을 것이다.
그럼에도 불구하고 의사결정을 내릴 때에 예측은 매우 중요한 요소 중 하나라는 것을 무시할 수 없기에 [슈퍼예측]을 지난 트레바리 독서모임의 세번째 책으로 선정했던 것이었다.
(말 나온 김에 새 시즌 멤버 절찬 모집중!!)
이 책의 교훈은 많지만 그 중에 핵심적인 것 하나만 언급하자면 다음과 같다. 어떤 사건에 대한 예측을 하고 확률을 이야기 한다면 최소한 기저율(base rate)에서 시작하도록 하자. 기저율에서 출발하지 않는 예측과 확률은 제대로 된 예측일 수가 없다.
