숫자 어떻게 읽을 것인가?

톰 치버스 • 데이비드 치버스, 『숫자에 속지 않고 숫자 읽는 법』

연달아 숫자가 진실을 감추거나 왜곡하는 방법, 그것을 알아차리는 방법에 대한 책을 읽는다. 톰 치버스와 데이비드 치버스의 『숫자에 속지 않고 숫자 읽는 법』도 사너 블라우의 『위험한 숫자들』과 마찬가지로 의도적이든 의도적이지 않는 숫자가 본질을 호도하는 사례들을 소개하고 있다. 좀 다른 점이라면 이 책은 사너 블라우의 경우보다 내용들을 좀 잘게 나눴다. 그리고 전문 용어들을 조금 더 쓰고 있다(통계적 유의성, 교란변수, 충돌 편향과 같은 용어들인데, 그렇다고 이 용어들이 어려운 것도 아니고, 또 내용도 어렵게 쓴 건 아니다). 사실상 거의 같은 내용이라고 할 수 있는데, 사너 블라우의 『위험한 숫자들』는 하나의 소재에서 시작해서 여러 가지 상황들을 제시하면서 다소 비판적인 어조인데 반하여, 톰 치버스와 데이비드 치버스의 『숫자에 속지 않고 숫자 읽는 법』은 서로 연결은 되고, 비슷하긴 하지만 상황들을 구분해서 쓰고 있다. 물론 숫자를 의도적으로 왜곡하는 이들에 대해 비판적이기는 한데, 주로는 잘 몰라서 벌어지는 일이라는 데 더 방점이 찍혀 있는 듯하다. 이 책에서도 지적하고 있듯이 책 한 권 읽고 통계의 오류를 잡아내고 편향을 갖지 않게 된다고 할 수 없기에 이렇게 연달아 읽는 것 자체가 의미 있지 않을까 싶다. 물론 더 의미 있는 것은 정신을 똑바로 차리고 숫자를 바라보고, 또 꾸준히 연습을 하는 것이겠지만 말이다.

이 책에서 특히 관심을 가지고 읽게 되는 부분은, 아무래도 논문과 관련된 얘기들이다. 이른바 p 해킹, 체리피킹, 텍사스 명사수 오류 같은 것들이 대표적인 것이고, 통계적 유의성에 대한 오해, 생존자 편향, 충돌 편향도 해당하는 내용이다. 한두 가지만 소개하자면, 체리피킹이란 데이터를 원하는 결론을 내릴 수 있도록 취사 선택하는 것을 말한다. 시작점과 끝점을 자신에게 유리한 것으로 고르는, 즉, ‘결과를 안 다음 가설 세우기’인 셈이다. 데이터를 조작하는 것은 아니지만 결론적으로 결론을 왜곡하는 것이다.

텍사스 명사수 오류와 생존자 편향은 어쩌면 비슷한 얘기라고도 할 수 있다. 우 혼란스러운 데이터 중에서 원하는 부분만 골라내는 것이 텍사스 명사수 오류이고(이러고 보니 체리피킹과 유사하다), 생존자 편향은, 이를테면 2차 세계대전 때 살아 아온 비행기가 총을 맞은 부분만 헤아리는 것을 말한다. 여기서 돌아오지 못한 비행기의 데이터는 포함되지 않는 것이다.

또 한 가지 뜨끔하면서 읽게 된 부분은 ‘굿하트의 법칙’이다. 이미 이 법칙(?)에 관해서는 여러 차례 읽었지만 읽을 때마다 뜨끔하다. 굿하트의 법칙이란, 측정치가 목표가 되어버리면 그 측정치는 이미 가치를 잃게 된다는 것인데, 나만 뜨끔하는 게 아니라 모든 기관, 기업, 학교에서 뜨끔해야 한다.

이 책은 특히 코로나 팬데믹의 데이터를 많이 제시하고 있다. 그만큼 이 팬데믹 상황에서 왜곡된 수치와 통계가 마구잡이로 떠돌았다는 얘기다. 그것도 아주 그럴듯하게 말이다. 그래서 이런 책들이 더 필요해진 것이기도 하다. 뉴스를 제대로 읽고, 제대로 판단하기 위해서는 숫자에 속지 말아야 한다. 제대로 읽어야 한다.