우리가 마피아 게임에 임하는 자세

네이트 실버 <신호와 소음>을 읽고

예측하는 작업은 예로부터 신성하고 위대한 것으로 여겨졌다. 어느 나라 역사를 보아도 예측의 영역을 다루는 제사장은 한 나라의 왕보다 더 높거나 적어도 왕만큼의 권력을 가지고 있었다. 왕만큼의 절대적인 권력은 아니지만 여전히 경제 예측을 하는 금융기관들로 돈이 몰리고, 그 예측을 바탕으로 적절한 기업 전략을 세울 수 있도록 도와주는 컨설팅 회사에 큰 비용을 지불하기도 한다. 아직도 케케묵은 노스트라다무스 예언이나 고대 잉카제국의 예언이 재미 삼아 회자되고, 최근에는 트럼프 당선을 2000년에 예측했다는 심슨 만화가 이목을 끌었듯이, 예측은 매우 어려운 만큼 크게 주목받기도 한다.

많은 사람들은 빅데이터 시대가 도래하면서 오차는 줄어들고, 머신러닝과 딥러닝으로 컴퓨터가 찾아주는 변수로 예측력을 높일 수 있을 것으로 기대하고 있다. 하지만 <신호와 소음>의 네이트 실버는 데이터가 많아진 만큼 잡음이 많아지며, 소음 속에서 제대로 된 신호를 구분할 줄 알아야 한다고 강조한다.

신호와 소음 속에서 제대로 된 신호를 찾고 이를 바탕으로 예측하는 작업은 마피아 게임을 떠오르게 한다. 마피아 게임은 학창 시절에 친구들과 자주 하던 놀이인데, 사회자가 몰래 마피아 몇 명을 지목하면 마피아가 누구인지를 맞추는 게임이다. 마피아는 지목당하지 않기 위해서 시민인척 행동하고, 시민들은 서로를 관찰하며 마피아가 누군지 추리한다. 누가 누군지 정보가 부족한 상황에서 소극적인 예측을 하기보다는, 게임의 재미를 위해 과장된 행동을 하기도 하고 아무나 의심하기도 하는데, 이때 소음과 진짜 신호를 구분하지 못하고 과잉 적합 모델을 세우면 시민을 마피아로 잘못 예측하는 경우가 많다.

게임을 여러 번 하면서 마피아 선정도 여러 번 하게 되는데, 이때 플레이어들은 여러 가지 가정을 하게 된다. 사회자가 공평하게 돌아가면서 마피아를 하면서 게임을 즐길 수 있도록 다음번 마피아를 선정할 수도 있고, 일부러 마피아를 했던 사람을 한번 더 지목할 수도 있다. 물론 같은 사회자로 엄청나게 많은 횟수의 게임을 하면 그 사회자가 마피아를 선정하는 패턴을 유추할 수 있겠지만 보통 그렇게 하지 않으니, 플레이어들은 사회자가 어떤 생각으로 마피아를 선정했을까 여러 가지 가정을 하게 된다. 마피아 게임에 참여하는 사람들은 어쩌면 베이즈주의적인 추론을 하고 있는지도 모른다. 특정 인물이 마피아일 사전 확률을 세우고 게임이 진행될 때마다 끊임없이 그 확률을 업데이트해야 한다. 잘못된 가정으로 잘못된 예측을 할 가능성은 얼마든지 있다. 물론 경제예측만큼이나 큰 타격을 주진 않지만 말이다.

게임에서는 제대로 된 신호를 찾기 위해 여러 가지 가정으로 여러 가지 추론을 하고 예측 모델을 끊임없이 수정하는데, 현실에서는 모델의 불완전성을 인정하는 것부터가 왜 이렇게 어려울까. 사람들은 정확한 예측을 하기 위해 사용하였던 빅데이터 분석 방법론을 정확함이 아닌 그 정밀함에 의존하고, 복잡한 모델을 만드는데 든 시간과 비용에 매몰되어 애초에 모델을 만들었던 목표의식을 곧잘 잊어버린다.  그리고 불완전한 모델을 인정하기보다, 확증 편향에 중독되어 모델의 가정 또한 잊어버린다.

네이트 실버는 책의 처음부터 끝까지 예측할 때의 오만함과 이로 인한 예측 실패에 대해 경고한다. 예측 실패는 있을 수 있지만, 예측을 지나치게 확신하였을 때 치러야 할 대가가 너무 크다. 예측 모델이 잘못되었다는 사실 자체보다, 불완전한 모델을 수정하지 않고 계속 맞다고 주장하는 게 더 잘못되었다. 우리가 마피아 게임에 임하던 자세를 잊지 말아야 할 것이다.