연구 통계가 진실인지 간파하는 법

표본 데이터와 그 결과에 주목하라

언론 기사, 정치인들이 정책을 설명할 때 흔히 이용하는 '연구 결과' 또는 '통계 자료'를 이용한다.

우리는 숫자와 그래프가 섞인 연구 결과를 보게 되면 머리가 멍해진다. 왜냐하면 숫자의 의미, 그래프의 의미를 모른 채 연구를 접하기 때문이다.

그리고 비판적 생각 없이 그 내용을 진실이라고 생각하고 받아들인다. 하지만 제시한 연구 결과 또는 통계가 과연 진실일까? 숫자, 그래프, 결과만 제시한 그 자료가 과연 신빙성 있는 걸까?

책 <똑똑하게 생존하기>에서는, 통계와 연구 결과를 제시하면서 교묘하게 우리를 속이는 헛소리에 관해 합리적으로 비판한다.

먼저 책에서는 헛소리에 관한 이렇게 정의한다.

"헛소리에는 진실이나 논리적 일관성, 실제 전달되는 정보를 노골적으로 무시한 채 청중의 주의를 산만하게 하거나 압도하거나 위협함으로써 그들을 설득하거나 감동을 주기 위한 언어, 통계수치, 데이터 그래픽, 기타 형태의 설명이 포함된다"

헛소리란 사람들이 자시 말이 진실인지 거짓인지, 옳고 그른지 신경 쓰지 않고 상대방을 감동시키거나 설득하려고 할 때 만들어 내는 경향이 있다.

그렇다면 우리는 통계, 그래프, 수학적 개념을 섞으며 제시하는 과학적 주장의 헛소리 유무를 간파하려면 어떻게 해야 하는가?

책 <똑똑하게 생존하기>에서는 2가지 변수에 주목하라고 조언한다. 그건 바로 알고리즘에 바탕이 되는 '데이터'와 '결과'이다.

그림 1은 양적 연구의 메커니즘을 표현한 것이다. 양적 연구를 할 때 사용되는 분석 툴을 책에서는 '블랙박스'라 부른다. 보통 양적 연구는 데이터, 블랙박스, 결과 3가지로 구성된다. 분석 툴에 해당되는 블랙박스는 신뢰가 높다고 언급한다.

다만, 연구자들은 블랙박스의 기반이 되는 '데이터'와 '해석 결과'를 자의적으로 선택하고 해석하기에, 이를 간파해야 한다고 주장한다. 이를 현실에 적용해보면 어떨까?

특히 정책의 실효성에 관해 누군가 나와서 주장할 때가 있다. 이때 숫자와 그래프, 수학공식이 나오는 연구를 제시하며 대중들을 현혹하곤 한다. 상대방이 통계와 수치를 제시할 때 우리는 비판적 사고를 가지고 주장을 뒷받침하는 근거의 데이터의 수, 데이터의 특징, 결과의 자의적 해석 등을 검토해보면 어떨까?