05. 예측 적중률을 높이는 5단계

<예측, 일단 의심하라>

필립 테틀록(Philip Tetlock)과 댄 가드너(Dan Gardner)가 공동집필한 《슈퍼 예측, 그들은 어떻게 미래를 보았는가(Superforecasting)》에서는 슈퍼 예측 전문가들 각자가 전 세계의 굵직한 사건들이 일어날 확률을 예측해 달라는 의뢰를 받은 경우를 다룬다. 예를 들어, 슈퍼 예측 전문가들인 구성원들 각자는 온두라스의 2013년 대선에서 시오마라 카스트로가 이길 확률(그녀는 보수여당인 정적, 후안 오를란도 에르난데스에게 결국 지고 말았다)을 예측해보라는 주문을 받았다. 이때 그들은 체계적인 배경조사에 착수하고 보다 더 광범위한 정보를 입수하기 위해 자주 긴밀하게 협동했다. 이들이 함께 (대면방식보다는 인터넷상으로 더 자주) 모였을 때 상대방을 예우하며 대립각을 전혀 내세우지 않는 태도로 허심탄회하게 이의를 제기하는 모습이었다. 그리고 앞으로 어떻게 될지 미처 아무 생각이 나지 않거나 기본적인 사실인데도 아직 파악하지 못했을 때 조금도 당황하는 기색 없이 그렇다고 수긍할 줄 알았다. 그들이 집단을 이루어 내어 놓은 확률 예측의 적중률은 가히 놀랄 만했다. 
  
테틀록과 가드너가 인정했듯 슈퍼 예측 전문가들로 구성된 팀들이 눈부신 활약을 펼치긴 했지만 평범한 기관이나 기업체에서 그대로 따라하기란 결코 쉽지 않다. 슈퍼 예측 전문가의 자질을 타고난 사람들은 좀처럼 찾기 어렵다. 우리들 중에서 얼마나 많은 사람들이 훈련을 통해 개방적인 마음가짐에, 탐구정신이 왕성하고, 숫자를 편하게 잘 다루는 사람으로 변모할 수 있단 말인가? 이에 대해 테틀록과 가드너가 책 표지에 아무리 낙관적인 글을 적어놓았다고 해도 말이다. 사람들 중 단 2%에게만 슈퍼 예측 전문가의 자질이 있다면 이런 인재들로 엘리트 팀을 구성하기까지 어마어마하게 많은 사람들을 모아야 될 것이다. 이른바 상위 2%에 들지 못하고 제외될 사람들은 또 얼마나 격분하겠는가.
  
최근에는 펜실베이니아대학교 파벨 아타나소프(Pavel Atasov)와 동료 연구자 7인이 광범위한 연구를 통해 슈퍼 예측 전문가는 아니어도 태도가 좋을 경우 예측 실력이 크게 향상됨을 밝혔다. 슈퍼 예측 전문가에 비해 여러 모로 부족한 점 투성이인 사람들도 서로 협동하고 원활하게 교류하며 예측 회의에 임할 때 적중률이 상당히 높을 수 있다는 결과가 나왔다. 연구자들은 이런 성과를 거두기 위해서는 5가지 단계를 잘 지키면 된다고 역설한다.

첫째, 사람들이 자유롭게 정보와 논쟁을 주고받을 수 있게 허용하되, 예측만큼은 각자 본인의 판단대로 제출하고 이 자료로 전체 평균을 낸다.

둘째, 다른 사람들이 새로이 주장하는 말을 듣거나 최신 정보를 보고 난 뒤 혹시라도 본인의 예전 예측 값들을 수정하고자 원할 경우에는 그것을 허용한다.

셋째, 구성원들의 예전 예측 적중 실적에 대한 기록이 확보되면 집단평균 예측도는 보다 더 높아질 가능성이 있다. 특히 적중률이 더 높았던 예측 전문가들에게 더 많은 비중을 주면서 평균값을 내면 적중률을 바로바로 알려주어 앞으로 시간이 경과함에 따라 본인들의 실적도 차츰 더 향상시키고자 분발하도록 한다.

마지막으로, 집단 평균값을 ‘약간만 조작하여’ 예측 값을 조정한다. 미래에 실제로 사건이 벌어질 확률을 추정할 때 슈퍼 예측 전문가들의 평균값은 중간값에 거의 육박하기 일쑤다. 이는 보다 더 양극단으로 치닫는 비조직적 집단과는 정반대 경우에 해당한다. 예를 들어 미국의 차기대선에서 민주당 후보자가 이길 확률, 혹은 질 확률과 같이 두 가지 결과가 다 가능한 상황에 대해 슈퍼 예측 전문가들이 만들어낸 집단평균은 너무 과하다 싶을 정도로 50%에 육박한다. 아타나소프 교수가 주도하는 연구팀들은 이를 약간 조작하는 변칙을 부려 (이때 구성원들의 이전 실적을 기준으로 삼는다) 중간값이 0%, 혹은 100%에 가까워지게 만들었다. 그 결과 평균값이 양극단 중 한쪽으로 쏠리기는커녕 오히려 집단예측 전체의 적중률을 향상시키는 결과가 나왔다.