우리말 제목도, 책에 대한 소개도 ‘화학’, ‘생활 속 화학’에 대한 책이라고 하고 있지만(크게 틀린 제목도, 소개도 아니다), 나는 이 책에서 ‘화학’보다는 ‘과학’을 읽는다. 유쾌한 화학자(아니, 화학 커뮤니케이터) 조지 자이던은 몇 가지 제품에 대한 성분(ingredients, 이것이 이 책의 원제다)에 대해 파고들고 있다. 치토스로 대표되는 가공식품의 성분, 담배와 선크림의 성분 등. 딱 듣자마자 떠오르겠지만, 일단은 치토스와 같은 가공식품을 먹는 게 얼마나 해로울까? 담배가 해롭다는 것(그것은 일단 확실하게 받아들여지는 사실이니)은 얼마나 타당한 얘기일까? 선크림의 효과는 도대체 어떤 의미일까? 등과 같은 질문과 그에 대한 ‘과학적’(좀 더 좁히면 화학적) 답변이다.
그런데 앞에서도 밝혔지만, 이 책은 그런 대단히 흥미로운 몇 가지 질문을 화학적으로 밝히기도 하지만 더 중심은 과학(내지는 과학 발표)의 작동 방식에 대한 것이고, 또 그것을 어떻게 해석해야 하는지, 어떻게 받아들여야 하는지에 대한 얘기다. 과학의 연구 결과로 발표되는 논문, 그리고 그 논문을 받아서 보도되는 뉴스를 비판적으로 보는 관점은 무척이나 시사적이면서 과학의 외피를 쓰고 넘치도록 보도되는 건강에 관한 뉴스를 이해하는 데 도움을 준다. 조지 자이던은 커피에 대한 연구와 연구에 대한 보도를 인용하면서 이 이야기를 한다.
그는 과학 연구를 수행하는 데 있어 비유적으로 많은 웅덩이를 건너야 한다고 지적한다. 우선은 첫째로 연구자들이 사기꾼이 아니어야 한다. 둘째로는 기초적인 수학적 실수를 피해야 한다. 그다음은 연구에 있어서 절차상의 오류가 없어야 한다. 이 얘기부터 조금 설명이 필요한데, 사람을 대상으로 할 때 무작위로 선택하고 배정해야 한다는 얘기다. 다음으로 합리적 연관성을 밝히기 위해 건너야 하는 네 번째 웅덩이는 우연이다. 조지 자이던은 별자리와 각종 질병과의 연관성 사이의 연구를 통해서 이를 보여주는데 별자리가 특정 질병과의 연관성이 통계적으로 유의미하게 나타날 가능성이 있지만 그것은 수없이 많은 질병 중 어느 하나가 우연하게 연관성을 가지는 것이다. 여기까지는 별 감흥 없이 읽을 수 있다. 사실 과학자로서 약간의 훈련을 받는다면 이 정도는 피해가야 하는 줄 잘 알고 있으니까. 하지만 다음은 좀 다르다.
바로 다섯 번째 웅덩이는 ‘p-해킹’이다. 과학에서 논문으로 발표할 수 있느냐, 아니냐는 다름 아닌 p값에 달려 있다. p값이 0.05 이하가 나오느냐가 바로 발표 가능성의 척도다. 통계적으로 유의성을 인정받는 값이 바로 0.05이고, 많은 과학자들이 이 p값에 매달린다. 사실 정말로 어떤 연구에서 p값이 0.05 이하로 나올 가능성은 그리 높지 않을 수 있다. 우연히 일어날 가능성이 겨우 5%인데 그것보다도 낮은 값이니 말이다. 그러나 p값이 0.05 이하인 논문은 쌓이고 쌓이고 있다. 그중 적지 않은 논문이 바로 p-해킹에 의한 것일 수도 있다는 것이 바로 조지 자이던의 지적이다. p-해킹이란, (조지 자이던의 표현에 따르면) ‘원하는 결과를 ’ 찾을 ‘ 때까지 자료들을 계속 조작해 분석하는 방법’이다. 모든 가설에는 각각 하나씩 하나씩 실험을 하고 그 연관성을 밝혀야 함에도 불구하고, 하나의 실험을 하고 수많은 가능성을 대입시켜 연관성이 있는 것을 찾아내는 방식을 통해서 p-해킹이 이뤄진다. 이를테면 쌍둥이자리가 폐결핵과 관련이 있는지를 알아보기 위해서는 하나의 실험을 통해서 그걸 검증해야 함에도, 폐결핵을 대입해보고, 아니면 매독을 대입해보고, 그것도 아니면 통풍을 대입해보고, 그다음으로는 맹장염을 대입해보고... 이렇게 해서도 나타나지 않으면 천칭자리를 가지고 그 작업을 반복하는 것이다. 그렇게 하다 보면 어느 하나가 떡 하니 유의성의 기준인 p<0.05를 가지고 등장한다. 그걸 발표하는 것이다. 수천만 가지의 가설을 실험을 해서 p<0.05인 가설만 논문으로 발표하는 것이다. (솔직하게 나도 그런 ‘짓’을 전혀 하지 않았다고 자신할 수 없다.)
그런데 그 쉽지 않은 유혹인 p-해킹이라는 웅덩이를 넘어서면 과학에서 합리적 연관성은 충분히 입증되고 믿을 만할까? 아니다. 여섯 번째 웅덩이가 있다. 바로 ‘교란된 연관성’이다. 예를 들어 커피가 폐암과 연관성이 있다는 결과가 나올 수 있다. 그런데 여기에는 커피와 흡연, 그리고 폐암이라는 삼각관계가 존재한다. 즉, 커피와 폐암이 직접적인 연관 관계를 갖는 것이 아니라 흡연이라는 진짜 요인이 존재하는 것이다. 과학의 연구에서 이런 경우는 흔하다. 단지 연관 관계라면 모를까, 인과 관계를 밝히고자 할 때 가장 어려우면서도 경계해야 하는 것이 바로 이 교란된 연관성이라고 할 수 있다.
일곱 번째 웅덩이도 있다는 사실은 과학이라는 활동이 얼마나 미묘하면서도 쉽지 않은지를 역설적으로 보여준다. 이 일곱 번째 웅덩이는 연구가 관찰에 의한 실험인지, 무작위 통제 실험인지에 대한 얘기다. 무작위 통제 연구는 무척이나 힘들며, 또한 돈도 많이 든다. 그래서 많은 연구는 관찰 연구다. 그런데 이 관찰 연구는 결정적인 단점이 있다. 존 이오아니디스가 지속적으로 지적하고 있고, 지금도 논쟁 중인 내용인데, 그는 관찰에 기초한 (특히 영양학과 심리학에서) 많은 논문이 가짜라고 적나라하게 공격했다. 관찰만 한다는 점과 사람이 기억력을 믿을 수 없다는 점, 그리고 많은 변수가 얽혀서 실제 인과 관계를 제대로 밝힐 수 없다는 것이 관찰 연구를 믿을 수 없다는 것이다.
조지 자이던은 이렇게 과학의(정확하게는 과학 논문의, 과학 활동의) 불완전성에 대해 구구절절하게 늘어놓고 있지만 결국은 우리 삶은 과학에 의지해야 한다고 한다. 다만 가짜 과학, 혹은 과장된 과학에 흔들리지 않기 위해서 과학이 어떻게 과대, 과대 홍보되고 있는지를 파악해야 한다는 것이다.
다시 말하지만, 이 책은 화학물질에 대한 책이다. 하지만 우리가 더 깊게 받아들여야 하는 내용은 과학이 작동하는 원리와 오해받고, 혹은 왜곡하는 방식에 대한 것이다. 이 책도 깊이 읽어야 하고, 과학도 깊이 들여다봐야 한다.
