C

과학계가 직면한 재현성 위기

필자가 한번은 쓴다 해놓고도 깜빡깜빡하던 주제가 하나 있었다. 다른 일자의 칼럼에 살짝살짝 넣어 풀어보긴 했었지만 제대로 집중하여 이야기한 적은 없던 주제이기도 하다. 그런데 우연히 한민족과학기술자네트워크(KOSEN, 이하 코센)에서 온 이슈토론에서 이 주제를 반갑게 맞이할 수 있었다. 사람들이 대개 과학자들이 모여 있는 커뮤니티 하면 브릭을 연상하지만, 생물학 분야 이외 분들에겐 코센이 더 눈에 익은 오랜 과학 커뮤니티다. 여기서 이슈토론으로 제기한 그 주제는 바로 과학계(공학계도 포함)의 해묵은 숙제인 ‘재현성의 위기(Reproducibility Crisis)'다.

재현성의 위기는 하루 이틀의 문제가 아니다. 필자가 대학원을 다니던 때도 이 문제는 시시때때로 제기되던 이슈였다. ‘재현성’은 원리가 입각한 과학 입장에서 절대 소홀히 해선 안 되는 중요한 관점이다.

가령 하나의 실험을 할 때 시작한 시간대와 계절에 따라 실험 결과가 큰 폭으로 흔들릴 때가 있다. 이때, 실험자에 따라 실험결과 선택 성향이 크게 달라진다. 보수적인 한 사람은 반복적인 실험을 하고 결과의 통계적 처리를 시도한다. 그리고, 그 결과 중 유독 좋거나 유독 나쁜 것을 통계적 판단으로 ‘기각’한다. 공격적인 다른 한 사람은 반복적인 실험을 했다 하더라도 자기가 얻은 데이터 중 가장 잘 나온 것을 취한다. 설사 통계적 처리로 기각될 만하다 할지라도 말이다.

이런 상황은 제법 많은 연구자가 천사와 악마의 속삭임 중 어느 쪽에 귀 기울였나에 따라 많이 달라진다. 애초에 모든 데이터를 거리낌 없이 조작하는 이들도 있고 재현성의 위기에서 악마의 속삭임에 내맡겨버린 이들도 다수다. (물론 일회성 실험 결과라 재현성 검증이 없는 경우도 허다하다.)

여기서 악마의 속삭임에 넘어간 이들은 이렇게 이야기한다.

“어찌 됐든 간에 ‘시그널’로 나왔다고 자신은 ‘판단’했기에 대단한 소재가 개발됐다고 일류 저널에 투고했고 레프리를 통과해 게재됐으니 그걸로 된 것 아니냐?”

하지만, 세상엔 재현성의 위기에 직면해 다수의 연구자가 택하는 길이 반드시 악마의 속삭임에 넘어간 게 아니다. 대다수는 천사의 속삭임에 ‘굴복’한다. 그래서 어느 한순간 잘 나온 데이터는 자신이 완전히 지배한 실험 조건으로 언제든지 ‘재현할 수 있는’ 것이 아니었기 때문에 포기하고 다시 연구에 매진하는 게 정상이다. 물론 이러다 다른 연구들과 일정이 맞지 않으면 한동안 손 놓고 있다가 시기를 놓치는 수가 있다.

필자에게도 이런 ‘재현성의 위기’에서 투고 논문 제출을 포기한 적이 있다. 최초 실험은 1990년대 후반 필자 박사과정 때였었고 상당히 독특한 결과를 얻었다. 하지만, 당시엔 이 소재는 전해질 첨가제 정도였고 전극 활물질로 연구하는 이가 없었다. 어느 날, 실험을 하다가 이 소재와 함께 흑연재를 처리했을 때 기존 소재의 이론적 한계를 넘어서서 50% 이상 증가한 에너지 밀도 값이 계측됐었다. 하지만, 며칠 후 재현성 실험을 했을 때 부족한 결과가 나왔다. 그래서 필자 박사 논문 제일 마지막 부분에 가장 보수적인 실험 결과를 남기는 것으로 정리했다.

몇 년 후 연구소에서 센터장으로 재직하며 다시 같은 실험을 해 유사 결과를 얻었고 재현에 성공했다. 그래서 외부로 비밀리에 보내어 ‘미지의 소재’로 코인 셀 테스트로 교차검증을 시도했으나 거기에서 결과가 재현되지 않아 일단 연구를 중단했었다. 이 소재가 바로 2010년 이후 리튬이온 이차전지에 새로운 블렌딩용 음극 활물질로 등장한 실리콘 산화물로, 흑연계 음극 활물질에 고착된 리튬이온 이차전지에 놀라운 에너지 밀도 향상을 가져온 신소재다. 물론 상용화에 성공한 건 필자가 아니라 일본 제조사다.

이와 대비되는 경우로 한때 기존 소재의 벽을 넘었다며 신문 지상에 대서특필된 에너지 소재가 두어 개 정도 있었다. 당시에 필자가 잘 알던 소재였던지라 ‘실험 에러’와 ‘실험 조건 오류’이기 때문에 재현성이 없을 것이라 지적했다. 대개, 재현성 문제를 지적하면 지적한 사람이 남의 ‘신성한’ 연구결과를 질투해 재를 뿌리는 거냐고 욕먹기 십상이다. 그중 하나는 공동 연구자가 필자와 친교가 깊은 분이라 연구실에 놀러 갔다가 분위기를 봐서 말씀을 드렸던 적이 있다. 당시에 실험 오류가 연구력이 짧은 이들의 조악한 실험 설계에 기인한 데이터 증폭이었기 때문이라 정상적인 연구팀에서는 재현되지 않을 거라 지적하니, 그분이 한숨을 쉬면서 그때 미리 제게 이 이야기를 들었다면 자신이 ‘재현성 위기’에 빠지지 않았을 거라 아쉬워하셨다. 안 그래도 교차검증을 보낸 결과, 아주 싼 상용 소재에도 미치지 못하는 결과가 나와서 한참 애먹으셨다고 했다.

과학자가 재현성에 너무 집착하게 되면 현대의 과학자들은 펀딩을 받지 못해 굶어 죽어야 한다는 극단적인 발언도 서슴지 않으며 과학자의 작가 활동도 결국 인류를 복되게 한다는 주장도 넘쳐나는 요즘이다. 하지만 이런 ‘작가’ 같은 악화 때문에 ‘과학자’인 양화들은 제대로 된 펀딩을 못 받고 있다. 악화가 양화를 구축하는 현실인 것이다.

이런 작가 활동에 심취한 이들과 떼려야 뗄 수 없는 게 또 하나 있는데, 이는 ‘논문 표절’, ‘재현성 위기’와는 또 다른 연구 부정인 ‘논문 브로커’다. 대개 재현성 위기에서 악마의 속삭임에 취한 이들일수록 논문 브로커를 통해 악명 높은 국외 유명 학자와 커넥션을 만들고 그렇게 실적을 드높이려고 시도한다.

과학 연구에 있어 보수적 성향을 지닌 이들은 점점 연구에 뒤처진 연구 열등생으로 보이고 공격적 성향을 지닌 이들은 ‘재현성 무시’, ‘논문 브로커’ 등을 통해 양과 질에 앞서는 연구 우등생으로 평가되는 아쉬운 시절이 지금이다. 하지만, 논문 실적과 달리 실력은 낭중지추와도 같아 연구자들과 깊은 대화를 나눠 보기만 해도 저 사람이 작가 성향의 ‘실적 좋고 실력 없는 가짜 석학’인지 ‘실적 적고 실력 좋은 과학자’인지 쉽게 가늠하는 건 일도 아니다. 다만, ‘실적 좋고 실력 없는 가짜 석학’과 ‘논문 브로커’들이 크기에 좋은 토양이 우리나라뿐 아니라 세계적인 트렌드가 된 게 아닌가 싶어 안타까울 뿐이다. 게다가 새 정부에도 이런 이들이 한자리 얻을까 혈안이 되어 달려드는 중이라 옥석을 가리기 쉽지 않을 것이다.

불문곡직하고, 학자다운 과학자들이 연구에 매진하기 어려운 시대다. 학자다운 과학자들은 국가 R&D 연구 보고서를 쓰는데 능하고 넘쳐나는 데이터를 가졌지만, ‘실적 좋고 실력 없는 가짜 석학’들은 대개 연구 내용이 극히 빈약해서 연구 보고서 간소화에 목을 맨다. 하지만, 대개는 후자들의 목소리가 크기 때문에 외면받는 실정이다. 외려 충실한 연구 보고서와 연구 과정을 유지한 채 ‘꾸준한 스몰 사이즈 연구비’를 제공하는 게 바른길이다. 새 정부의 과학기술 정책이 제대로 가기 위해서는 ‘실적 좋고 실력 없는 가짜 석학’과 ‘논문 브로커’들은 배제하고 선량한 과학자들이 환영받는 시스템이 잘 갖춰지길 기대한다.

재현성 위기를 극복하기 위한 토론. /코센 화면 캡처