논문의 출판에 있어 동료 평가는 어떻게 변할까?
출판 전 논문 원고의 동료평가는 필요악인가?
과학, 기술은 물론, 거의 모든 학문의 영역에 있어, 연구자들이 새로운 연구 결과를 동료 학자들과 나누는 방식은 크게 세 가지다. 첫 번째는 연구 논문을 학회지, 저널 등에 출판하는 것, 두 번째는 학회에서 구두 혹은 포스터 발표로 결과를 공개하는 것, 세 번째는 책으로 연구 내용을 엮어서 출판하는 것이다. 특히 첫 번째 방식인 연구 논문의 출판은 그중에서도 가장 영향력 있고, 가장 확실한 방식으로 여겨지고 있다. 나 개인적으로도 연구자로서, 연구 논문은 60여 편 정도 써 봤고, 다른 학자들의 연구 논문에 대한 동료 평가 리뷰도 80여 편 정도 해 본 입장에서, 동료 평가에 대한 내 입장은 한 마디로 처칠의 말을 빌려서 표현하는 수밖에 없다.
민주주의는 지금까지 발명된 모든 정치 제도를 제외하면 최악의 제도다.
마찬가지다. 논문이 저널 등에 출판되기 전, 그 분야의 익명의 동료들에게 사전 평가를 받고, 이를 기반으로 저널의 편집자가 논문의 출판 가부를 판단하는 현행 방식인 동료 평가, 이른바 peer review는 지금까지 발명된 모든 평가 제도를 제외하면 최악의 제도다. 그렇지만, 역설적으로, 동료 평가를 대신할만한 믿을만한 제도가 아직까지는 대중적으로 받아들여지고 있지 않기 때문에, 거의 대부분의 저널은 틀에 박힌 듯, 동료 평가에 의존하여 지금도 세계 각지에서 답지하는 논문 원고들에 대한 출판을 결정하고 있다.
지난 2020년 7월, David Wojick이라는 사람은 "Is peer review bad for science?"라는 제목의 글을 온라인 매체 https://www.cfact.org/에 발표했다. (https://www.cfact.org/2020/07/18/is-peer-review-bad-for-science/) 동료 평가가 결국 학문, 특히 과학 연구의 발전을 저해하는 것인가에 대해 논한 글이다. 의문문으로 시작하는 기사지만, 이미 답은 정해져 있다. 물음에 대한 대답이 'Yes'라는 것이다. 글의 결론만 살펴보자.
Conclusion: Peer review adds an enormous amount of delay, cost and distraction to the process of science. It does not do enough good to justify these huge adverse impacts on the rate of scientific progress. Thus on balance peer review is bad for science.
즉, 기사가 주장하는 요는 논문 출판에 있어 동료 평가는 연구 결과가 세상에 나오기까지 지나치게 많은 시간을 잡아먹게 하는 주요 요인이고, 그 과정에서 필요 이상의 비용이 발생하며, 과학과는 별 상관없는 요인으로 인해 연구가 가진 진짜 영향력이 훼손된다는 것이다.
이 사안에 대해 연구자로서 그리고 동시에 리뷰어로서 다시금, 그러나 조금 더 깊게 논해 보는 것은 나쁘지는 않을 것 같다. 전반적으로 이 결론이 말하는 바는 사실 틀린 것이 없다. 실제로 나를 포함하여 많은 연구자들은 논문을 꽤 써 본 사람이라면 이러한 단점들은 대부분 느끼고 있고, 지금 이 순간에도 겪고 있는 단점 들일 것이다. 단적인 예로, 내가 공저자로 참여한 어떤 논문은 작년 초에 처음 이른바 NSC라는 약자로도 자주 불리는, Science, Cell, Nature紙에 투고한 이후, 본지부터 차례로 물을 먹고, Nature, Science의 수많은 자매지를 전전한 후, 마침내 Nature의 어떤 자매지의 peer-review 프로세스에 겨우겨우 작년 이맘때쯤 진입했는데, 지난 1년 간 무려 4번의 revision을 거쳐 이제는 최종 승인을 눈앞에 두고 있다. (마지막으로 받은 에디터의 'delighted' 어쩌고 하는 레터 논조를 보면 아마 거의 될 것으로 보인다..) 실제로 그 연구의 핵심 결과가 나온 것은 2018년 하반기이니, 아마도 그 핵심 결과가 세상의 빛을 보게 되는 것은 실제로는 2년 후가 될 것이다. 또한 4번의 리비전 기간 동안, 리딩 저자들은 초기 논문에 보고된 것 수준의 두 번의 큰 실험을 수행했고, 그래서 supplementary information (SI, 논문 보조자료)는 무려 50페이지에 달하게 되었으며, 그 과정에서 나를 포함한 공저자들은 추가 데이터 분석과 페이퍼 에디팅에 많은 시간을 투자했다. 이 과정에서 정확히 얼마나 많은 비용과 시간이 추가로 투입되었는지 모르겠지만, 10명이 넘는 저자들이 '그깟' Nature 자매지 페이퍼 한 편 때문에 쏟아부은 비용과 시간은 아마 꽤 충격적일 정도로 클 것이다. 4번의 리비전은 'reviewer 4'라는 어떤 익명의 리뷰어가 답답할 정도로 견지한 집요한 지적 때문에 이뤄지게 되었는데, 그의 지적은 많은 부분 reasonable 했지만 그럼에도 불구하고 연구의 핵심 결과와는 그다지 상관없는 부분에 대해서도 예의 그 집요함이 확장되어, 4번의 리비전을 거친 페이퍼의 최종 버전은 결국 초기 버전에 비해 많은 부분 필요 이상의 정보 (too much information, TMI)가 추가된 모양새가 되었다. (적어도 내가 보기에는 그렇다.)
이 페이퍼 한 편만 놓고 보더라도 기사의 작성자가 지적하는 peer-review의 단점이 고스란히 드러난다. 특히 많은 연구자들은 이른바 NSC 혹은 그 자매지 혹은 영향력 지수 (impact factor, IF) 20이 넘는, 갑을이 그야말로 명확한 prestigious (라고 쓰고 predatory라고 읽고 싶어 하는..) 저널에 manuscript를 보낼 때마다 이러한 단점을 수도 없이 겪는다. 대부분 시간과 비용을 필요 이상으로 투입하며, 나중에는 그 manuscript의 제목만 봐도 신물이 올라 올 정도로 번아웃 직전까지 가는 연구자들은 부지기수다. SI는 사실 보조자료라고는 하지만, 마음만 먹으면 SI만 모아서 잘 정리하면 페이퍼를 두어 편 더 쓸 수 있을 정도로 TMI이며 고퀄리티인 경우가 다반사다. 분야를 잘 모르는 것 같은, 그렇지만 자존심은 월등히 높고, 꼰대질 하는 리뷰어에게 걸리면, 지엽적인 부분까지 노력을 기울여야 하는 케이스도 무척 많으며, 심지어는 '인용 왜곡 (citation abusing)'이라고 부르는, 일종의 리뷰어 갑질 (즉, 자신의 논문을 왜 이 논문에서 인용 안했냐고 하면서 은근슬쩍 혹은 대놓고 인용을 강요하는 듯한 행태)이 일어나는 경우도 부지기수다.
이렇게 peer-review는 링크한 기사의 논지대로, 그리고 많은 케이스에서 드러나듯 허점이 많은 프로세스이며 단점이 점점 명확해지고 있는 시스템이다. peer-review가 원래의 취지와는 다르게 이렇게 변질된 것은 결국 학문의 진보 과정에 자본주의의 논리를 충실히 따르는 출판사의 입김이 과하게 작용하기 시작했고, 학문의 성과에 대한 평가 시스템이 논문의 숫자와 IF 같은 정량지표로 쉽게 평가되는 문화가 공고해지면서부터다. 논문이 연구자들의 학계 진입, 더 정확히는 정년보장 교수직 (tenure track faculty position) 임용 시장, 그리고 임용 후 테뉴어 확보 및 승진 과정, 연구 과제의 선정과 평가, 나아가 교수나 연구자들이 향후 각종 보직을 확보하거나 심지어는 정관계 진출을 하는 데 있어 일종의 유일무이한 '화폐'로 포지셔닝되면서, 논문 한 편, 특히 이른바 high impact journal에 출판되는 논문 한 편이 갖는 영향력은 학문 외적으로 더 뚜렷해지기 시작했다. 당연히 이런 저널에 논문을 싣는다는 것은 이제 막 박사학위를 받은 신진연구자들에게나, 경력 30년의 대가급 연구자들에게 상관없이 한정재가 되므로, 사치품이 매년 가격을 올려도 수요가 전혀 줄어들지 않는 것처럼, 출판사와 저널 에디터들이 아무리 허들을 올리고 까다롭게 굴어도 연구자들은 그 저널이나 에디터를 보이콧하기는커녕, 점점 더 그 저널에 목을 매는 형국이 되었다. 피어 리뷰는 그 과정에서 저널들이 한정재로서 자신의 위치를 고수하게 만드는 주요 장치로 작동해 왔으며, 연구자들은 그 스스로가 연구자이자 리뷰어로 학계라는 커뮤니티를 작동시키는 구성원인 줄 잘 알면서도, 그 저널들의 위명에 볼모로서 스스로를 속박시키고, 학계 (라고 쓰고 저널이라고 읽는)의 요구에 대해서는 당연히 무료 봉사하는 리뷰어로서 지금까지 위태롭게 피어 리뷰 시스템이 유지되어 온 셈이다.
그럼에도 불구하고 이렇게 본래의 취지와는 많이 달라지고, 심지어 속된 말로 더럽게 변질되어 가는 peer-review 시스템을 대체할 수 있는 방법은 딱히 뾰족한 것이 없다. 물론 그 역사가 30년이 다 된, 물리학이나 수학계의 arxiv, 그리고 arxiv의 뒤를 이어 생겨나게 된 화학계의 chemrxiv, 생물/의료 분야의 biorxiv, 심리학계의 psyrxiv 등, 이른바 프리 프린트 (pre-print) 서버를 통해 타임스탬프를 찍어 가며 출판이 되기 전의 논문을 온라인 상으로 공개하기 시작하는 경향이 연구자들 사이에 날로 거세지고 있고, 이제는 물리학, 수학, 화학, 생물학, 심리학 외의 다른 분야로도 이러한 프리 프린트 추세가 점차 확장되어 가고는 있지만, 여전히 저널이 독식하고 있는 '출판' 시장은 꽤 공고하다. 말 많고 탈 많은 peer-review 기반 기존의 저널 시스템 대비, pre-print 방식의 논문 공개가 갖는 장점은 꽤 독특한 것은 사실이다. 연구 결과를 딜레이 없이, 그리고 리뷰나 에디터의 셀렉션 프로세스 없이 바로 불특정 다수에게 공개할 수 있고, 공개된 페이퍼는 있는 그대로 불특정 다수의 평가를 받는다. 공개된 페이퍼는 최종 출판되기 전까지 계속 업데이트될 수 있으며, 필요한 경우 (즉, critical 한 문제가 발견되는 경우 등)라면 출판도 되기 전에 저자들이 스스로 공개된 페이퍼를 서버에서 삭제도 할 수 있다. 이렇게 독특하면서도 기존의 저널 중심 논문 출판 시스템의 단점을 확실하게 보완할 수 있을 것 같은 pre-print는 당연히 시대의 대세가 되어야 할 것 같고, 그 과정에서 저널의 철옹성은 무너져야 정상일 것 같다.
그렇지만 arxiv가 세상에 나온 지 30년, 분야 가리지 않고 논문의 투고-출판 과정이 전부 온라인화 된 것이 거의 15년, 아예 온라인으로만 논문이 나오는 저널이 급증하기 시작한 지 10년, SNS 등에서의 실시간 언급 등을 그 연구의 임팩트 측정 도구로 삼기 시작한 것이 벌써 5년이 넘어가고 있는 시점임에도 불구하고, 저널의 철옹성은 여전히 무너지지 않는 것 같다. (물론 pre-print의 성장세는 확연하긴 하다..) 그렇게 유지될 수 있는 이유는 여러 가지가 있겠지만, 결국 그 핵심은, 어찌 되었든 peer-review를 필요악으로 인정하는 연구자들이 아직까지는 majority일 것이기 때문일 것이다. pre-print로 공개되는 페이퍼 중 상당수는 성급한 우선권 선점을 노리고, 채 익지도 않은 결과를 큰 고민 없이 올려놓는 것인 경우가 꽤 된다. 단적인 예가 2020년 상반기에 미칠듯한 증가세로 pre-print 서버에 올라온 COVID-19 관련 각종 논문들이다. 특히 pandemic dynamics를 모델링하는 논문들은 정말 하루에도 수십 편씩 서버에 올라 올 정도였다. 2020년 5월 어느 시점엔가 나는 그 시점까지 출판된 대략 700여 편 정도의 COVID-19 전파 dynamics (대부 SIER 모형 기반) pre-print를 살펴보았는데, 그중 건질만한 insight를 가지고 있다고 평가될만한 페이퍼는 채 10편도 되지 않았다 (순전히 내 관점에서 그렇다). 절반 이상은 학부생 과제 수준의 페이퍼, 나머지 절반 정도는 잘 봐줘야 대학원생들의 system bio 혹은 역학 과목 term paper 수준 정도로 보였다. 다시 말하지만 물론 이는 순전히 내 개인적 관점이므로 이러한 페이퍼 중에 실로 '옥'이 되는 페이퍼도 당연히 상당수 있을 수 있을 것이다. 하지만, 대부분은 '석'에 가까운 페이퍼들로 보아도 무방할 것이라 생각한다. 700여 편의 페이퍼 중에서 대략 10편 정도만 실제로 도움이 되는 가치 있는 정보를 전달하는 연구 논문으로 볼 수 있라면, SNR (signal-to-noise ratio)은 1:69로서 참으로 처참한 수준이 된다. 물론 pre-print에 올라온 페이퍼들이 다 SNR이 이렇게 처참하다는 이야기를 하려는 것은 아니다. 그렇지만 SNR을 좋게 봐줘서 1:5 수준 정도로만 놓고 보더라도 이는 좀 심각한 문제가 된다. 설령 SNR이 1:1이라고 해도 그 시스템의 시그널을 고르는 것은 50%의 위험 부담을 감내하는 셈인데, 하물며 1:5 SNR 수준의 처참한 시스템에서 나오는 output을 가려내는 것을 오로지 사용자에게 맡겨 놓는다면, output의 selection 이후, 그것에 대한 책임을 지는 것은 output의 원저자가 아닌, 그 output에 속아 넘어 간 사용자가 될 확률이 높다. 단례로 COVID-19가 본격적으로 전 세계적인 판데믹으로 바뀌던 시점인 3월 초 즈음에, COVID-19가 중국의 모 연구소에서 '인위적으로' 조작된 것일 가능성이 높다는 페이퍼가 bioxriv에 공개된 적이 있었고, 일부 언론들과 sns 사용자들 (나를 포함하여...)이 성급하게 그 페이퍼를 속보인 양 공유하고 보도한 적이 있다. 그렇지만 그에 대해 전문가들의 반박이 곧이어 올라오자 그 페이퍼는 서버에서 삭제되었고, 페이퍼를 공유했던 사람들 (역시 나를 포함하여..)은 자신들의 성급한 판단에 대한 사과문을 올릴 수밖에 없었다. 모든 논문이 그런 것은 아니지만, 뉴스 매체의 눈길을 쉽게 잡을 수 있고, 충분히 입맛에 맞게 포장이 가능한 페이퍼라면 이렇게 얼마든지 성급하게 바로 뉴스를 탈 수 있으며, 그 뉴스는 사실상 페이크 뉴스가 되고, 대중은 과학이라는 미명으로 포장된 페이크 뉴스에 쉽게 호도될 수 있다. peer-review를 거친 페이퍼도 물론 대중의 호도에 얼마든지 좋은 재료로 활용될 수 있지만, 그래도 peer-review와 editorial policy를 '제대로' 거친 페이퍼라면 그런 잠재적인 요소들이 어쨌거나 상당수 견제되고 삭제되고 tone-down 되기 때문에 fake news가 될 확률도 낮아지는 것 역시 사실이다.
즉각적으로, 그리고 아무나 볼 수 있고, 아무나 해석할 수 있다는 pre-print의 장점은 아이러니컬하게도 SNR이 1보다 훨씬 낮으며, 얼마든지 호도될 수 있는 잠재적 요인이 충분히 통제되지 않았고, 아무나 볼 수 있어서 아무렇게나 입맛에 맞게 해석할 요지가 더 커진다는 단점으로 바로 연결된다. 결국 pre-print로 페이퍼를 공개하는 것은 peer-review 이상의 신뢰도를 확보할 수 있는 SNR 강화 방식이 보강되지 않는다면 당분간은 peer-review 기반의 저널 철옹성을 무너뜨리기는 기제가 되기 쉽지 않다. SNR이 충분히 강화가 되지 않은 시스템에서 나오는 output을 가려내는 것을 수고로이 '일부러' 지겠다고 나서는 사용자는 별로 없을 것이므로, 누군가가 그 selection을 해 주기를 바라는 것에는 어쨌거나 '수요'가 생긴다. 지금까지는 그 selection이 peer-review라는 거창한 이름으로 포장된 프로세스에 위임되어 왔던 것이고, 초반에는 이 프로세스가 그나마 잘 작동했으니, 사용자들은 관성에 따라, 그리고 위험 회피 본능에 따라, 그나마 잘 작동해 온 것처럼 보이는 프로세스에 의존하는 것을 벗어나지 못하는 것이다. 이것이 peer-review가 여전히 페이퍼 출판의 gate keeper가 되고, 그것을 수족처럼 부리는 왕서방 격인 저널들이 겉으로는 학문의 헤럴드 역할을 하지만, 속으로는 수익을 독점하는 구조로 변질되어 온 것이다. 물론 pre-print 방식은 앞으로도 발전을 거듭할 것이고, 아마도 이를 대체할 수 있는 또 다른 시스템이 등장하게 될 것이지만, 그것이 어떤 종류든, 지금의 필요악인 peer-review 이상의 quality control이 안 된다면, peer-review라는 낡은 방식의 생명력은 당분간 사라지지 않게 될 것이다.
당연한 이야기지만, peer-review를 거친 페이퍼라고 해서 SNR이 무조건 높다고, 그리고 SNR이 높다고 해서, 그 페이퍼가 무조건 신뢰할 수 있는 것이라고 단언하는 것은 성급하면서도 어리석은 일이다. 이른바 NSC라고 불리는 저널에 출판되는 페이퍼들도 출판된 후 반년도 안 되어 retraction 되는 경우가 부지기수며 (몇 년 전, 오보카타 하루코의 이른바 '홍차 세포 (자극 야기 다기능 획득 세포 (stimulus-triggered acquisition of pluripotency, STAP 세포)' 사건을 생각해 보면 된다.), 어떤 페이퍼는 출판 후 10년도 더 된 시점에 retraction 되는 경우가 있다. peer-reviewer 들도 결국 사람이니, 앞서 언급한 것처럼 리뷰어 갑질을 하는 경우가 무척 많고, 그 과정에서 출판되어야 할 페이퍼는 리젝 당하고, 리젝 당해야 하는 페이퍼는 오히려 출판되는 경우 역시 허다하다. 대가의 이름이 들어갔다는 이유만으로 허접한 페이퍼가 유명한 저널에 출판되는 경우가 지금도 횡행하고 있으며, 이른바 마피아 조직이라 부르는 closed group의 상호 인용, 심사, 합종연횡은 일부 분야에서 여전히 공고하며, 제3세계에서 투고된 페이퍼는 리뷰 프로세스에 들어가기는커녕, 에디터가 리젝 할 확률이 유의미하게 더 높다는 것도 기정사실이나 마찬가지다. 100% double blind가 아닌 이상, peer-review process는 원천적으로 인간의 편견이 작동할 수밖에 없는 프로세스며, 설사 리뷰어가 인공지능으로 대체된다고 해도, 애초에 그 인공지능이 review process를 학습한 데이터가 인간 reviewer의 기록들이라면, 얼굴 인식 앱이 인종에 영향을 받듯, AI reviewer도 인간 factor의 영향을 받게 될 것이라는 점은 쉽게 상상할 수 있다.
그럼에도 불구하고 peer-review를 대체할 만한 수단이 마땅치 않은 이유는, 재차 말하지만, 하루에도 수십-수백 편이 공개되는 페이퍼 중에서 옥석을 가리는 것을 사용자에게만 맡기기에는 시간과 비용과 능력 면에서 모두 사실상 불가능하기 때문이다. 이미 저널에 출판되는 페이퍼 중, 관심 분야의 페이퍼만 골라서 읽는 것만 해도 사실 일주일 내내 하루 24시간을 투입한다 한들, 다 따라잡는 것이 불가능한 마당에 (물론 아주아주 희귀한 분야라면 가능은 할 것이다..), 저널은 커녕, pre-print에 올라오는 페이퍼를 다 따라잡는 것은 그야말로 초인적인 능력이 있다고 해도 불가능한 일이다. 일정 수준의 threshold를 둘 수밖에 없는 것은 피할 수 없는 운명이 되는 것이다. 이는 마치 대형마트나 백화점에 납품되는 식자재는 그나마 믿을 수 있다고 생각하고 일부러 마트나 백화점을 찾아가 더 비싼 가격을 주고 그 식자재를 사는 고객과 비슷한 맥락이다. 마트나 백화점에 납품되는 식자재가 무조건 신선하고, 믿을 수 있고, 소비자의 만족을 100% 보장한다고는 할 수 없겠고, 마트나 백화점끼리도 퀄리티나 가성비가 천차만별이겠지만, 그리고 소비자를 기만하는 마트나 백화점이 존재하는 것도 사실이지만, 그렇다고 소비자가 전국 어딘가에 있을 식자재를 직접 발굴하여 그곳까지 찾아서 그것을 집으로 신선도를 유지한 채 가져오는 수고를 하는데 자신의 한정된 시간과 자원을 전부 투입할 수는 없는 노릇인 것과 마찬가지다. 소비자는 최소한의 자원을 들여 최대한의 효과를 누리고 싶어 하는 것처럼, 연구자 입장에서도 시간과 에너지라는 한정된 자원을 최대한 실패 확률이 낮은 시그널에 투입하고 싶은 것은 인지상정일 것이다. 단순히 페이퍼를 읽는 것에도 시간과 에너지가 투입되지만, 어떤 결과가 유의미해 보여서 그것을 재현하려 실험하거나 연구하는 것에는 더 많은 시간과 비용, 그리고 에너지가 들기 마련이기 때문에, 어떤 페이퍼를 어디까지 신뢰하고 참고할 것인지를 선택하는 것에는 신중을 기할 수밖에 없다. 연구 결과의 유통에 있어, 지금까지 peer-review process가 마트와 백화점 역할을 해 왔던 것이고, peer-reviewer는 그 직원, 저널들은 마트와 백화점의 소유주 역할을 해 온 것이라 볼 수 있다. 문제는 현실에서의 마트와 백화점은 지나친 폭리를 취하거나 사기를 칠 경우 당국의 처벌을 받을 수 있고, 고객은 환불은 물론 경우에 따라서는 배상도 받을 수 있지만, 학계의 마트와 백화점이 폭리를 취하거나 횡포를 부릴 때, 그리고 리뷰 프로세스로 장난질을 칠 때 그것을 연구자들이 견제할 수단이 보이콧 외에는 마땅치 않다는 점일 것이다.
결국 그것이 peer-review가 되었든, 뭐가 되었든, 어쨌든, 1차적으로 하루에도 수십-수백-수천 편씩 올라오는 페이퍼들의 최소한의 quality control, 그리고 최소한의 SNR을 확보하기 위해서라도 selection 과정은 필요할 수밖에 없고, 다만 그 과정에서 저널과 출판사, 에디터와 리뷰어의 지나친 간섭, 갑질, 왜곡, 비용 상승 등의 단점을 견제하기 위해 다른 장치가 추가로 필요하다. 그중 하나는 pre-review와 더불어 post-review가 될 것이다. 더 정확히는 post publication review라고 불러야 할 것이다. 지금까지 대부분의 페이퍼는 pre publication review를 받아 출판되어 왔다. 저자들이 저널에 페이퍼를 투고하면 에디터가 피어 리뷰 여부를 결정하고, 에디터 프로세스를 통과한 페이퍼가 피어 리뷰를 받게 되면, 리뷰어의 리뷰 결과에 따라 리비전, 그리고 그 이후의 출판 여부가 결정되는 식이었다. 출판 후에는 critical 한 문제점이 발견되지 않는 한, 대부분의 페이퍼는 출판 후의 조치는 없었다. minor 하다면 erratum, major 하다면 retraction이 그런 조치였다. 물론 페이퍼가 출판된 이후에는 학계의 반응은 결국 citation으로 나타나므로, 출판된 페이퍼의 '평가'는 단적으로는 얼마나 많이 다른 논문에 citation 되었는지로 이루어질 수 있을 것이다.
그렇지만 citation 횟수 계수에 의존하는 방식도 역시 한계가 있다. 일단 그것이 나쁜 의미에서의 인용인지, 좋은 의미에서의 인용인지를 구분하기가 쉽지 않고, 단순히 이러저러한 연구가 있었다는 언급과, 이 페이퍼는 혁명적인 결과를 가져왔다는 언급의 경중을 구분할 수 없다는 것, 그리고 citation은 일종의 마태효과 (Mathew effect : 즉, 가진 자가 더 가지는 것)가 있어서, 이미 조금이라도 더 인용된 논문이 통계적으로 더 잘 인용되는 경향을 필터링할 수 없다는 등의 단점이 있다. 그리고 이러한 단점들은 당분간 자발적인 방식으로 보완하기는 쉽지 않은 것들이다. 따라서 인용도의 계수 외에, 다른 방법의 peer-review 보완이 필요해지는데, 그중 하나가 바로 익명성이 보장되는 post publication review 시스템의 확립이다. 이 시스템은 해당 저널이 독점적으로 운영할 수도 있고, arxiv처럼 저널과 상관없이 독립된 시스템으로서 설치될 수도 있겠지만, 핵심은 로그인이 필요 없는 익명성이 보장되는 코멘트 혹은 스레드 추가 시스템의 확립이다. 예를 들어, 어떤 논문이 출판되면 그 논문의 URL에 게시판이나 스레드 기능을 추가하여 누구든지 그 논문에 대한 평가를 남기게 한다. 별점을 줄 수도 있을 것이고, 실험이 재현이 되는지 여부, 결과의 해석 정당성 여부 같은 연구 내적 측면, 중복이나 표절, 데이터 시각화 등에 대한 추가적인 코멘트도 길게 남길 수도 있을 것이며, 필요하다면 익명을 풀고 지금도 일부 저널에서 출판하고 있는 'Comment' 형식의 짧은 페이퍼처럼 논문 형식의 반응을 남겨도 될 것이다. 무플보다 악플이 낫다고, 어쨌든 출판된 페이퍼에 여러 형식의 반응이 남겨지기 시작하면, 학계에서 언급되는 빈도도 높아질 것이고, 자연스럽게 언급 빈도가 높아진 페이퍼는 출판 후에 어떤 형식으로든 영향력이 높아진다. 그리고 그러한 빈도들이 높은 페이퍼들이 자주 출판되는 저널 들일수록 더 영향력이 높은 저널이 될 것이며, 그것은 자연스레 저널들이 그렇게 목매어 매달려 마지않는 IF의 상승으로 이어지게 될 것이다. 추가된 코멘트나 반응에 대해 저자들은 반드시 대응할 필요는 없겠지만, 결국 대응을 잘하는 페이퍼는 그만큼 더 영향력을 갖게 될 것이므로, 원저자들의 대응도 더 활발해질 것이다.
Post-publication review의 예상되는 단점은 일종의 별점 테러다. 어떤 페이퍼든 익명성이 보장되면, 코멘트를 남기지 않는 사람 중, 일부러 혹은 악의를 가지고 별점을 테러할 수 있다. 그것을 견제하는 방법도 물론 없는 것은 아니지만, 결국 어떤 방법이든 이러한 종류의 abusing이 생기는 것은 완벽하게 막기는 어렵다. 다만 post publication review가 정착되기 시작하면 결국 abusing은 통계적으로 견제할 수 있는 기반이 갖춰지게 될 것이다. Post-publication review는 저널 입장에서도 상당히 신경 쓸 수밖에 없게 될 텐데, 어떤 저널이든 일단 고양이 목에 방울을 달기 시작하면, 그 저널이 선점 효과가 생겨, 나머지 저널들은 마지못해 뒤처지지 않기 위해서라도 그 시스템을 따라갈 수밖에 없다. 자신들이 출판한 페이퍼들이 딱히 별점 참여도가 높지도 않고, 코멘트 달리는 빈도도 별로라면, 미래의 저자들은 그 저널에 매력을 느끼는 확률이 낮아질 것이므로, 저널들도 이제는 저자들, 그리고 리뷰어들에 대해 신경을 더 쓰지 않을 수 없게 될 것이다.
Post-publication review는 또 한 가지 긍정적인 견제 도구가 될 수 있는데, 그 대상은 pre-publication review에 대한 일종의 '메타 리뷰'로서이다. pre-publication review (즉, 지금의 peer-review)는 앞서 말했듯, 최소한의 quality control 혹은 SNR 기준 확립을 위한 필요악이므로, post-publication review와는 별개로 유지될 수밖에 없다고 보지만, 이제는 peer-review 자체도 평가에서 자유로울 수는 없다. 익명성만 보장된다면, pre-publication review 역시 페이퍼가 출판될 때 적어도 온라인 상에서라도 병행 출판되어 독자들의 익명 평가에 노출되어야 한다. 물론 이미 Nature의 자매지들은 이러한 피어 리뷰 리포트를 논문 출판과 병행하는 옵션을 저자들에게 주기도 하고 있지만, 이러한 경향은 더 확대되어야 한다고 생각한다. pre-publication review 가 좋은 평가를 받는다면 그 결과는 자연스레 그 리뷰어를 택한 저널에 대한 신뢰도 상승, 리뷰어에 대한 크레디트 상승으로 이어지겠지만, 그와 반대라면, 저널의 신뢰도는 하락할 것이고, 해당 리뷰어는 학계에서 점점 리뷰어로 섭외되는 빈도가 낮아지게 되어 자연스레 bad reviewer의 퇴출로 이어질 가능성이 높다.
학계의 투명성에 대한 학문 후속세대의 요구는 점차 거세질 것이고, 현재의 pre-publication review, 그리고 저널의 독과점 구조에 대한 불만이 쌓이게 되면, 어떤 식으로든 간에 시스템의 변혁은 피할 수 없는 일이 될 것이다. 학문의 영속성과 논문의 SNR 수준 담보, 그리고 학문 공동체 구성원들의 요구를 맞춰 주는 차원에서, 현재의 review 시스템은 결국 단방향에서 양방향으로 변화될 수밖에 없을 것으로 생각한다. 그 과정에서 일부 리뷰의 유료화 (즉, 리뷰어에게 리뷰 대가를 지급하는 등의 방식)를 추구하는 저널들도 등장할 수 있겠으나, 아마도 이는 생각하는 것만큼 대세는 되지는 못할 것이다. 프로 불편러가 생기듯, 프로 리뷰어가 생길 가능성을 배제하지 못할 것이기 때문이다.
형식이 어찌 되었든, 링크한 기사의 논조대로 현재의 pre-publication review가 지속 가능하지 못하다는 것은 명약관화하며, 다만 필요악인 이 시스템을 보완하는 방향에서 학계가 어떻게든 지금보다는 더 나은 방향으로 진화하지 않을까 생각한다. 부디 그 과정을 주도하는 것이 상업성 짙은 저널이 아닌, 연구자들, 학자들이길 바랄 뿐이다. 학계의 진보는 학자가 아닌 저널에게 주도권이 넘어갈 때 퇴보로 바뀔 것이다
