몬티홀 문제(Monty Hall problem)

이산수학-통계학-확률론

나는 게임에 참여한다. 게임 진행자의 이름은 몬티 홀이다. 게임을 시작하자 조명이 꺼지고 저만치에 문이 닫힌 세 방이 나타났다. 나는 굳게 닫힌 문 때문에 방 안을 들여다볼 수 없어 무엇이 들어있는지 알 수 없었다. 어디선가 정장을 빼입고 나타난 몬티 홀은 세 방 가운데 한 방에는 고급 외제 자동차가 들어있고 나머지 두 방에는 성난 황소가 들어있다고 했다. 그러면서 내가 방을 고르면 방 안에 들어있는 것을 상품으로 받을 수 있다고 친절히 설명해주었다. 나는 황소를 골랐다간 무사하지 못할 것 같아 자동차가 들어있는 방을 간절히 고르고 싶었다. 나는 “첫째 방에 자동차가 들어있다”에 1/3만큼 믿었다. 마찬가지로 둘째 방에 자동차가 들어있으리라는 데 1/3만큼 믿고 셋째 방에 자동차가 들어있으리라는 데 1/3만큼 믿었다. 즉, 어느 방을 고르든 “내가 고른 방에 자동차가 들어있다”의 믿음직함, 즉 확률은 1/3이었다.

나는 느낌상 첫째 방을 골랐다. 그러자 몬티 홀은 어딘가 무서운 웃음을 지으며 셋째 방문을 열어제쳐 그 안에 황소가 들어있다는 것을 보여주었다. 나를 보자 황소가 거칠게 숨을 쉬며 달려들려 했지만, 다행히 아직 단단히 묶여있어 그러진 못했다. 한시름을 놓았다. 그러나 아직 게임은 끝나지 않았다. 셋째 방에 황소가 들어있다는 것을 안 다음 나는 첫째 방에 자동차가 들어있으리라는 데 얼마큼 믿어야 할까? 셋째 방에 황소가 들어있다는 것이 확인되었으니 남은 두 방 가운데 하나는 황소가 들어있고 다른 하나는 자동차가 들어있다. 이는 자명하다. 그렇다면 나는 첫째 방에 자동차가 들어있으리라는 데 1/2만큼 믿고 둘째 방에 자동차가 들어있으리라는 데 1/2만큼 믿어야하는 것처럼 보인다. 몬티 홀은 나에게 물었다. “혹시 다른 방을 고르시겠습니까?” 

메릴린 보스 사반트는 1990년에 한 잡지에서 이 물음에 답했다. 그녀는 방을 바꾸는 것이 자동차를 얻게 될 가능성을 높인다고 주장했다. 그녀에 따르면 셋째 방에 황소가 들어있다는 것을 안 다음에는 “첫째 방에 자동차가 들어있다”의 믿음직함은 1/3이지만 “둘째 방에 자동차가 들어있다”의 믿음직함은 2/3이다. 사반트가 이렇게 답한 뒤에 그는 만여 통의 편지를 받았다고 한다. 이 가운데 천여 통은 박사학위를 받은 전문학자들의 비판이었다고 한다. 매우 빼어난 수학자 에르되시 팔도 “둘째 방에 자동차가 들어있다”의 믿음직함이 1/2이 아니라 2/3라는 사반트의 주장을 전혀 받아들일 수 없었다. 사반트가 야릇한 여성 논리를 펼친다고 조롱하는 학자도 있었다. 그러나, 천천히 생각해보면 사반트가 틀리지 않았음을 알 수 있다. 왜 수학자들과 통계학자들 및 전문학자들은 확률을 잘못 셈할 수밖에 없었을까? 그들은 자신들이 틀렸다는 사실을 오랫동안 인정하지 않았다. 컴퓨터로 이 게임을 여러 번 거듭하여 다른 방으로 옮기면 자동차를 얻게 될 가능성이 2/3로 높아진다는 점이 밝혀진 뒤에야 사반트가 옳았다는 것을 비로소 인정하게 되었다. 

몬티 홀 게임에서 몬티 홀이 열어주는 방에는 언제나 황소가 들어있다. 그가 열어주는 방에 자동차가 들어있다면 “다른 방을 고르시겠습니까?”라고 말할 수조차 없다. 수학자들은 몬티 홀이 황소가 있는 방만 열어준다는 사실을 눈여겨보지 않았다. 이 사실은 몬티 홀이 어느 방에 자동차가 들어있고 어느 방에 황소가 들어있는지 이미 알고 있음을 뜻한다. 아직도 많은 학자들이 이 점을 충분히 성찰하지 않는다. 이 사실이 왜 믿음직함에 영향을 끼치는지 나중에 이야기하기로 하고 먼저 사반트의 믿음직함 셈이 왜 옳은지를 설명하겠다. 

나는 세 경우를 따져야 한다. 세 경우란 첫째 방에 자동차가 들어있는 경우, 둘째 방에 자동차가 들어있는 경우, 셋째 방에 자동차가 들어있는 경우를 말한다. 이를 하나씩 따져 본다면 사반트의 결론에 이를 수 있다. 이 세 경우에서 내가 처음에 고른 방은 언제나 첫째 방이라고 가정한다. 만일 첫째 방에 자동차가 들어있다면, 몬티 홀은 둘째 방 또는 셋째 방을 열어줄 것이고 그 안에 황소가 들어있다. 몬티 홀이 “다른 방을 고르시겠습니까?”라고 말할 때 우리가 방을 바꾸면 우리는 자동차를 얻지 못한다. 만일 둘째 방에 자동차가 들어있다면, 몬티 홀은 셋째 방을 열어줄 것이고 그 안에 황소가 들어있을 것이다. 이때 내가 첫째 방에서 둘째 방으로 바꾸면 우리는 자동차를 얻는다. 만약 셋째 방에 자동차가 들어있다면, 몬티 홀은 둘째 방을 열어줄 것이다. 즉, 우리가 방을 바꾼다면 세 경우 가운데 두 경우에서 자동차를 얻는다. 

몬티 홀은 다른 두 방 가운데 황소가 있는 방 하나를 골라 연다. 그가 어느 방에 황소가 있는지 이미 알고 황소 방을 골라 열어준다는 사실은 그가 열지 않은 방에 자동차가 있음을 뜻한다. 내가 고르지 않은 두 방 가운데 하나에 자동차가 들어있었다면 그가 열지 않고 남겨둔 방에 자동차가 들어있는 셈이다. 결국 몬티 홀 문제에서 셈해야 하는 것은 조건부확률, ‘셋째 방에 황소가 들어있다는 것을 안 다음에 첫째 방에 자동차가 들어있으리라는 믿음직함’이었다. “셋째 방에 황소가 들어있다는 것을 안 다음에”에서 이 사실을 어떻게 알았냐 하는 것은 믿음직함의 크기를 바꿀 수 있다. 몬티 홀이 황소가 들어있는 방을 골라 열어준다면 그가 여는 방이 어느 방이든 그 방에는 황소가 들어있다. 내가 고르지 않은 다른 두 방에 자동차가 들어있으리라는 믿음직함은 처음에 2/3였다. 몬티 홀이 방문을 하나 열어주기 전에 남은 방은 두 개였지만 그가 방문을 연 다음에 남은 방은 하나다. 이 때문에 남은 그 방에 자동차가 들어있으리라는 믿음직함은 2/3로 높아진다. 따라서 내가 처음에 골랐던 방을 그대로 지키면 그 방에 자동차가 들어있으리라는 믿음직함은 1/3이지만, 다른 방으로 옮기면 그 방에 자동차가 들어있으리라는 믿음직함은 2/3가 된다.         

시험 횟수를 늘려나갈수록 66%에 근접해 간다.

그런데, 만일 몬티 홀이 어디에 황소가 들어있는지 모른 채 아무 방문을 열었더니 그 방에 황소가 들어있음을 알게 되었다면 확률은 달라진다. 아까처럼 첫째 방을 골랐다고 해보자. 이때 모두 여섯 경우를 따져야 한다. 만일 첫째 방에 자동차가 들어있고 몬티 홀이 둘째 방을 열었다면 그 안에 황소가 들어있음을 알 수 있다. 내가 다른 방으로 옮기면 나는 자동차를 얻지 못한다. 마찬가지로 셋째 방을 열었다 해도 그 안에 황소가 들어있음이 내게 알려진다. 내가 다른 방으로 옮기면 자동차를 얻지 못한다. 다음으로, 둘째 방에 자동차가 들어있고 몬티 홀이 둘째 방을 열었다면 게임은 시시하게 끝난다. 몬티홀이 셋째 방을 열었다면 그 안에 황소가 들어있고, 내가 남은 둘째 방으로 옮기면 자동차를 얻는다. 만일 셋째 방에 자동차가 들어있는데, 몬티 홀이 둘째 방을 열었다면 황소가 들어있음이 내게 알려진다. 내가 다른 방으로 옮기면 자동차를 얻는다. 반면 몬티 홀이 셋째 방을 열었다면 그 안에 자동차가 들어있고 게임은 시시하게 끝난다. 게임이 시시하게 끝나지 않고 몬티 홀이 “다른 방을 고르시겠습니까?”라고 말할 수 있는 경우는 네 경우다. 네 경우 가운데 내가 다른 방으로 옮길 때 두 경우에서만 자동차를 얻는다. 따라서 몬티 홀이 어느 방에 황소가 들어있는지 모른 채 방을 열었고 그 방에 황소가 들어있다는 것을 안 다음에 내가 고른 방에 자동차가 들어있으리라는 믿음직함은 1/2이다. 

이 생각을 매우 어려운 몬티 홀 문제로 확장할 수 있다. N개의 방 가운데 방 하나에 자동차가 들어있고 나머지 방에 황소가 하나씩 들어있다. 우리는 아무 방 하나를 고르고 몬티 홀은 L개의 문을 열어 그 안에 황소가 들어있다는 것을 보여준다. 그는 무슨 방에 무엇이 들어있는지 알고 황소가 들어있는 방만 골라 열어준다. 이 경우 우리가 고른 방에 자동차가 들어있으리라는 믿음직함은 처음 1/N에서 바뀌지 않고 그대로 1/N이다. 우리가 고르지 않은 방 어딘가에 자동차가 들어있으리라는 믿음직함은 처음에 N-1/N에서 바뀌지 않고 그대로다. L개 방을 열어주기 전에 남은 방은 N-1개지만 방을 열어 준 다음에 남은 방은 N-L-1개다. 남은 각 방에 자동차가 들어있으리라는 믿음직함은 처음에는 N-1/N을 N-1로 나누어야 하지만 나중에서는 N-1/N을 N-L-1로 나누어야 한다. 따라서 남은 다른 방 하나에 자동차가 들어있으리라는 믿음직함은 처음에 1/N에서 (N-1)/N(N-L-1)로 바뀐다. (N-1)/N(N-L-1)은 1보다 크기 때문에 (N-1)/N(N-L-1)은 1/N보다 크다. 이것은 우리가 처음에 고른 방을 버리고 다른 방으로 옮기면 우리가 자동차를 얻을 가능성이 더 커진다는 것을 뜻한다.

우리가 일상생활에서 몬티 홀 문제의 요점을 활용할 수 있는 상황은 객관식 시험이다. 시간이 부족한 상황에서 딱 보기에도 어려운 문제에 직면했을 때 직감적으로 아무 선지나 찍어보자. 그 다음 문제를 빠르게 보면서 소거할 수 있는 정보를 운 좋게도 파악했다면, 그 선지를 지우면서 내가 원래 찍은 선지를 바꾼다. 나 스스로 게임 참여자이자 몬티 홀이 되어보는 것이다. 예컨대 내가 5번 선지를 찍었는데 풀다보니 4번 선지가 답이 아닌걸 확실히 확인했다면, 내가 찍은 5번선지가 답일 확률은 위에서 설명한 공식에 따라 1/4이 아니라 1/5이고, 1번, 2번, 3번 선지가 답일 확률은 4/5이다. 이렇게 우리는 게임에 참여한 참가자처럼 선지를 바꿔서 확률을 높여나간다. 연필을 굴려서 찍는 것보다는 수학적이지 않은가? 다만, 여기서의 핵심은 4번 선지가 답이 아니라는 것이 틀림없이 참이어야 한다는 것이다. 이 전제가 틀려버리면, 우리는 게임 진행자인 몬티 홀이 되기는커녕 덫에 걸려 원치 않는 게임에 참여할 수밖에 없었던 황소가 되어버린다. 진정으로 현명한 자는 이런 확률게임에 의존하지 않고 문제를 풀어냈을 것이고 말이다.

참고 및 출처: 두뇌보완계획 200, 김명석

사진 출처: http://aispiration.com/r-algorithm/r-monty-hall-problem.html