제2차 세계대전 중, 영국 공군은 폭격기 손실을 줄이기 위해 장갑을 보강하려 했다. 문제는 어디에 보강할 것인가였다. 귀환한 폭격기의 총알 자국을 조사했더니, 동체와 날개에 집중되어 있었다. 직관적 결론은 명확했다. 총알이 많이 맞는 동체와 날개에 장갑을 대자.
통계학자 에이브러햄 월드는 정반대를 주장했다. 총알 자국이 없는 엔진 주변에 장갑을 대라고.
이유는 단순했다. 돌아온 비행기만 보고 있었기 때문이다. 엔진에 맞은 비행기는 돌아오지 못했다. 총알 자국이 없는 곳이야말로 치명적인 곳이었다. 보이는 데이터가 아니라, 보이지 않는 데이터가 답을 갖고 있었다.
이것이 생존자 편향이다.
생존자 편향은 일상 어디에나 있다.
성공한 창업가의 인터뷰를 읽는다. "대학을 중퇴하고 도전했다." "남들이 미쳤다고 했지만 밀어붙였다." 결론이 뭔가. 대학을 그만두고 무모하게 밀어붙이면 성공한다? 같은 선택을 하고 실패한 수만 명은 인터뷰에 나오지 않는다. 살아남은 사람만 말할 기회를 얻는다.
"옛날 건물이 더 튼튼하다"는 말도 같은 구조다. 튼튼하지 않은 옛날 건물은 이미 무너져서 없다. 남아 있는 것만 보니까 다 튼튼해 보이는 것이다.
1편에서 다룬 손가락 길이 연구도 이 문제를 안고 있었다. 표본이 비뇨기 질환으로 입원한 환자 508명이었다. 이 사람들이 일반 인구를 대표하는가? 비뇨기 질환은 호르몬 환경과 관련이 있을 수 있고, 호르몬 환경은 바로 그 연구가 측정하려던 변수 — 손가락 길이 비율 — 에 영향을 미친다. 표본 자체가 결론을 오염시키고 있었다.
1999년 영국에서, 샐리 클라크라는 여성이 두 아이를 연이어 잃었다. 영아돌연사증후군이었다. 검찰은 그녀를 살인 혐의로 기소했다.
재판에서 전문가 증인이 결정적 숫자를 제시했다. 한 가정에서 영아돌연사가 두 번 발생할 확률은 7,300만 분의 1이라고. 배심원은 이 숫자에 압도되었다. 유죄.
그런데 이 계산에는 치명적 오류가 있었다. 단일 사건 확률(약 8,543분의 1)을 단순히 제곱한 것이다. 두 사건이 독립이라는 가정 위에서. 그러나 같은 가정의 두 아이는 유전적 요인, 환경적 요인을 공유한다. 첫 아이에게 영아돌연사가 발생한 가정에서 둘째에게도 발생할 확률은 독립 가정보다 훨씬 높다.
더 심각한 문제가 있었다. "이 사건이 우연히 일어날 확률이 7,300만 분의 1"이라는 것과 "이 여성이 무죄일 확률이 7,300만 분의 1"이라는 것은 전혀 다른 말이다. 그런데 배심원은 둘을 같은 것으로 받아들였다. 이것을 검찰의 오류라 부른다.
샐리 클라크는 3년을 감옥에서 보낸 뒤 항소심에서 석방되었다. 하지만 회복하지 못했다. 알코올 중독 끝에 세상을 떠났다.
하나의 숫자가, 하나의 잘못된 가정 위에 세워진 하나의 숫자가, 한 사람의 인생을 부수었다.
1986년 1월 28일. 미국 우주왕복선 챌린저호 발사 전날 밤, 엔지니어들은 경고했다. 기온이 너무 낮아 O-링이 실패할 수 있다고.
NASA 관리자들은 데이터를 검토했다. 이전 비행에서 O-링 손상이 발생한 사례를 분석했다. 결론은 "온도와 O-링 손상 사이에 명확한 패턴이 없다"였다.
문제는 그들이 본 데이터에 있었다. 손상이 발생한 비행만 골라서 분석한 것이다. 손상이 없었던 비행 데이터는 제외했다. 전체 데이터를 함께 놓고 보면, 기온이 낮을수록 O-링 손상이 증가하는 패턴이 선명하게 드러났다.
"관련 있는" 데이터만 골라본 것이 오히려 패턴을 숨겨버린 셈이다. 73초 후 챌린저호는 폭발했다. 7명이 사망했다.
월드의 폭격기 이야기와 구조가 같다. 보이는 것만 보면 답이 보이지 않는다. 빠져 있는 데이터가 무엇인지를 물어야 한다.
1편에서는 "충분히 찾으면 반드시 나온다"는 이야기를 했다. 없는 패턴이 있는 것처럼 보이는 문제. 이번에는 정반대다. 있는 패턴이 없는 것처럼 보이는 문제.
둘 다 같은 뿌리에서 나온다. 데이터가 어디서 왔는지를 묻지 않는 것.
누가 응답했고 누가 응답하지 않았는가. 무엇이 기록되었고 무엇이 기록되지 않았는가. 누가 살아남았고 누가 살아남지 못했는가.
데이터 앞에 앉았을 때 가장 먼저 물어야 할 질문은 "이 데이터가 무엇을 말하는가"가 아니다. "이 데이터에서 빠져 있는 것은 무엇인가"다.
월드는 총알 자국이 없는 곳을 봤다. 챌린저호 데이터에서는 빠진 행이 답이었다. 샐리 클라크 사건에서는 고려되지 않은 조건이 한 사람의 운명을 갈랐다.
숫자는 있는 것을 보여준다. 없는 것은 우리가 찾아야 한다.