당신은 Science에 진심인가요

과학에서의 재현성 위기 (Reproducible Science)

올해 ISEE 2022에서 가장 큰 감명과 영감을 받은 키노트는 단언컨대 스탠퍼드 의과대학의 John Ioannidis 교수의 '과학에서의 재현성 위기' 강연이었다. Ioannidis 교수는 역학과 예방의학 분야에서 연구를 활발히 하고 메타분석에 관해서는 지극히 전문가로서 과학에서의 '재현성'이 위기에 처해있다고 진단했다.

이게 도대체 뭔 소리일까. 교수는 전 세계적으로 3500만 명의 저자가 적어도 1편의 과학논문을 출판했고, 700만 명의 과학자가 5편 이상의 과학논문을 출판했다고 한다. 그리고 현재 2억 편에 달한 과학논문은 매년 500만 개가 증가하고 있다고 했다. 그리고 각 논문 1편은 1개에서 여러 개의 결과를 담고 있다고 했다. 근데 이 중에 방법론에 있어서, 결과에 있어서, 추론의 신뢰성에 대해서 재현성이 있는 결과가 사실 얼마 되지 않는다고 진단했다. 수많은 자료와 연구결과를 들어서 이 주장들을 뒷받침했는데, 한 가지를 들면 세계에서 수행되는 randomized controlled trial (RCT)의 상당수가 재현성을 갖추지 못한 '좀비 RCT'라고 진단했다.

[Professor John Ioannidis from Standford University (Medical School)]

[실제 임상적으로 가치 있고, 재현성 있는 메타분석의 분율은 매우 적다.]

한 마디로 과학이란 이름을 달고 출판되는 결과물의 상당수가 엄밀하지 못한 결과이고 재현되지 않는다는 것이다. RCT라면 응당 의사들이 근거의 최고 수준으로 치는 연구설계 아닌가. 근데도 교수는 이 RCT마저도 마구잡이로 진행돼서 믿을 수 없는 결과가 많다고 이야기하는 것이다. 너무 많은 생각이 떠올라서 좀 정리할 필요가 있었다.

1. 한국에서는 논문을 몇 편 썼느냐가 교수의 중요한 업적평가 지표이다. SCI 몇 편 썼어. 올해 10편 넘게 썼어? 등 SCI 논문의 수로 해당 연구자의 업적을 평가한다. 그런데 이 관행에 문제가 있다. 이렇게 숫자로 경쟁하기 시작하면 소위 질이 좋은 '재현성이 높은' 과학은 수행되기가 어려워진다. 그래서 교수는 현재의 교수나 연구자에 대한 보상체계를 '재현성이 높은' 과학논문을 출판하는 학자에게 더 많은 인센티브를 주는 식으로 바꿔야 한다고 주장한다.

2. 또 다른 문제는 한국에서 범람하는 과학에 대한 조롱과 멸시 풍조이다. 특히 의사들이 이런 경향이 있는데, 실제 임상 프랙티스를 중요시하는 것까지는 좋은데 과학 연구에 대해 믿지 못하겠거나 조롱하는 태도를 가지는 것이다. '임상 논문 그거 다 데이터 대충 만져서 조작해서 만들어내는 거 아니야?' '실제 임상을 해야지 연구 뭐 그런 게 중요한가' '연구하면 그거 뭐 한 달에 얼마나 버냐. 개원해서 돈 벌어야지' 이렇게 노골적으로 과학에 대한 기본 콘셉트조차 없거나 음모론에 쌓여있거나 과학이 문명에서 차지하는 위치에 대한 개념조차 없는 발언과 생각들이 범람하고 있다. 과학은 인류에게 발생한 사건 중 가장 최고의 사건이라는 교수의 주장은 그들에게 이해되지 않을 것이다.

3. '재현성 있는' '제대로 된' 연구를 위해 교수는 방법론과 통계에 대한 숙달을 매우 강조했다는 점이다. 이는 필자의 생각과 일맥상통한다. 필자는 군의관시절에 방통대 통계학과와 통계대학원에서 통계학 학사와 석사를 각각 취득했고, 환경보건학 박사시절에도 꾸준히 새로운 방법론을 익히려 노력했다. 왜냐하면 통계와 방법론이야 말로 필자가 개인적으로 노력해서 '재현성 있는' 과학에 근접할 수 있는 분야이기 때문이었다. 데이터의 규모나 데이터 수집인력의 퀄리티, 투명하게 공개하는 문화 등은 필자가 쉽게 바꿀 수 없는 부분이지만, 방법론과 통계는 '재현성 있는 과학을 위해' 직접 공부하여 장착가능한 최고의 무기라 생각했기 때문이다.

Ioannidis 교수의 말처럼 우리 인류 문명에게 과학이라는 일이 일어난 것은 최고의 일이다. 위 3개의 논점을 요약하면 필자의 생각은 다음과 같다.

1. 교수나 연구자로서 필자는 '제대로 된 재현성 있는 과학'을 하여 과학논문을 출판하는 것이 단순히 SCI 논문을 많이 쓰는 것보다 중요하다는 것이다.

2. 과학의 가치를 이해하지 못하는 무지한 대중이나 사람들을 탓하기보다 필자의 길에 집중하여 인류 문명을 위해 과학의 진보에 힘을 쏟는다는 것이다.

3. 과학논문을 쓸 때 제대로 된 통계, 제대로 된 방법론, 제대로 된 설계, 엄격한 체크리스트 적용, 엄격한 기준 적용 등을 강력하게 고수하겠다는 것이다.

특히 필자도 그렇고 Ioannidis 교수도 체계적 문헌고찰과 메타분석을 중요시하는데, 이 체계적 문헌고찰과 메타분석 수행 시에 엄격한 기준을 적용하고 질평가를 제대로 하여, 후대에도 의미가 있는 과학적 결과물을 만드는데 혼신의 노력을 기울이려 한다 (대충대충 과학논문을 쓰는 것이 아니라).

의대 교수가 하는 연구는 의과학이다. 즉 '과학'이다. 진료 practice도 의대 임상 교수의 역할이지만, 과학을 제대로 하는 의학자의 파급력은 임상 의사의 그것을 아득히 뛰어넘을 수 있다. 이는 인류 문명의 system 자체를 건드리는 일이기 때문이다. Ioannidis 교수의 강연은 필자에게 그런 확신을 주었고, 앞으로 가는 길을 환하게 밝혀 주었다. ISEE 2022가 특별히 필자에게 각별했던 이유이다. 과학은 인류에게 일어난 최고의 일이다.