저자와 저널에 모두 도움이 되는 피어 리뷰 하기
학술지 에디터에게 듣는 연구 이야기
많은 연구자에게 고통을 주는 피어 리뷰(peer-review)체계는 현대의 학술 논문 출판 체계의 근간을 이루는데, 인습으로 굳어져 있는 이 시스템은 학계가 상징권력의 불균형(inequality)를 강화하거나 기존 패러다임이 더욱 공고화되는 기울어진 운동장의 원인으로 지목되곤 한다. 목소리 큰 사람이 유리하고, 잘 알려지지 않은 연구자나 이머징 국가의 연구자, 기존 패러다임과 다른 목소리를 제시하는 연구자, 힘 센 사람을 미리 내 편으로 지정할 여력이 없는 연구자에게는 연구 결과를 가시성이 높은 저널에 발표하기 어렵게 만드는 걸림돌로 작용할 때가 많기 때문이다. Madscientist님의 이전 글에서 와닿는 비유를 볼 수 있다 ("어설프게 비유하자면 이런 느낌이랄까. 가령 김연아, 소트니코바, 아사다마오 등이 누가누가 피겨스케이트를 잘 타나 경연을 하는데 가령 김연아가 신기술을 개발했다고 하고, 이것이 동료평가에 의해서 인정되어야만 기술로 인정된다고 해보자. 그렇다면 김연아는 신기술을 타는 자료 (뭐 영상자료라고 치고)를 저널 오브 피겨스케이트에 보내면 저널 오브 피겨스케이트 편집장은 이것을 소트니코바, 아사다마오 코치에게 보내서 평가를 해달라고 한다...뭐하는 짓거리야 그래서 얘내들이 이러쿵 저러쿵 하는 논평을 다 방어해야만 신기술로 인정해준다고나 할까 ㅋㅋㅋ 물론 김연아의 신기술을 보고서 아사다마오라든지 등등이 이걸 바로 따라해서 논문을 투고할수도 있고. 그래서 여기에 대한 리뷰를 이 저널 오브 피겨스케이트에 보내고, 리뷰어의 의견에 따라서 김연아의 신기술이 인정된다. 물론 김연아의 라이벌이 리뷰어로 걸리면 열심히 물어뜯겠지…자신과 이해관계가 완전히 상충되는 경쟁자가 있다고 한다면 김연아는 ‘아사다 마오’ 는 리뷰어로 빼 주세염 하고 이야기할 수는 있다. 머 그렇게 해서 특정한 인물을 리뷰어에서 뺄 수도 있겠지만 누군가 예상치 못한 라이벌이 나타날런지는 그 누가 알겠나." -https://madscientist.wordpress.com/2015/10/28/%EB%88%84%EA%B0%80-%ED%94%BC%EC%96%B4-%EB%A6%AC%EB%B7%B0%EB%A5%BC-%EB%91%90%EB%A0%A4%EC%9B%8C%ED%95%98%EB%9E%B4/)
이러한 피어 리뷰 시스템이 가지는 한계를 극복하고, 잠재적으로 학계에 도움이 될 수 있는 연구들이 적절한 저널에 발표되고, 원고들이 가지는 단점을 극복하고 개선할 기회를 주기 위해서는 당연히 리뷰어의 역할이 중요하게 된다. 하지만 많은 경우에 피어 리뷰가 실질적으로 원고나 연구자의 연구/논문 작성 실력 개선에 도움이 되지는 못하는 것 같아 안타깝다. 대개의 경우에 피어 리뷰가 시간에 쫓기는 연구자에게 어떤 유형의 보상을 주지 못하기 때문에, 아주 유명한 저널이 아닌 경우라면 리뷰어들이 리뷰를 거절하거나, 혹은 건성으로 리뷰를 해 주는 경우가 많다.
글로벌 학문 유통 시스템(?)의 문제에 대하여 비판하는 목소리가 많지만, 개별 연구자들이 피어 리뷰를 어떻게 하면 저자와 저널, 그리고 학계에 모두 도움이 될 수 있을지에 대한 이야기는 쉽게 접하기가 어렵다. 나 또한 피어 리뷰를 할 때에 어떤 포인트를 제공해 주어야 하는지에 대하여 대학원 시절 코스웍이나 지도교수와의 상호작용을 통하여 어렴풋이 배운 것이 전부였던 것 같다. 이후 지난 몇년간 한 저널 편집에 참여하게 되면서 느껴지는 것들이 있다가 한 유서깊은 국외 저널에서 젊은 리뷰어들을 2년간 체계적으로 교육해주는 프로그램에 참가하여 편집장, 부편집장들에게 피어 리뷰의 개선점을 지도받을 기회를 얻게 되며 조금씩 감이 오는 느낌이 들었다. 그러면서, 한글로 웹에서 접할 수 있는 문서 중에서도 좋은 피어 리뷰에 대한 글이 있었으면 하는 바람에 이 글을 구상하게 되었다.
1. 도움이 되는 피어 리뷰의 구조
보통 피어 리뷰는 전반적인 코멘트를 한 문단으로 인트로 처럼 써 주고, 그 다음 덩어리에는 major points 들을 번호를 붙여 제시하고 그 다음 덩어리에는 minor points 들을 번호를 붙여 제시하면 된다고 생각한다. 일종의 관습처럼 되어 있는 것인데, 해당 저널의 섹션(보통은 abstract, introduction, methods, results, discussion, reference, table, figure legends)의 순서와 해당하는 문구의 위치의 순서를 반영해서 코멘트를 주는 것이 리비전을 하기에도 용이한 것 같다. 이 순서로 우선은 독자나 동료 연구자의 입장에서 읽어보고 논리의 갭이나 과도한 주장, 저자들이 놓치고 있는 연구의 장점과 단점을 체크하고 기술해 본다.
임상의학, 생물학, 공학 분야의 논문을 모두 경험해보니 IMRADS 포맷을 쓰는 방법이나 데이터를 제시하는 방법들에는 해당 필드마다 조금씩 차이가 있는 것 같다. 예를 들어 임상 의학에서는 results 의 서브섹션 제목으로 "Baseline characteristics" 라고 할 수 있지만, 생물학에서는 이런 식 보다는 "A 는 B에서 C라는 현상을 일으킨다" 처럼 소결론을 제목으로 만들어 주는 것이 보통이다. 그래서, 피어(peer)리뷰를 통해서 해당 연구의 상징공간 내에서 흔히 소통하는 방식에 연구자가 자신의 원고를 더 잘 맞도록 개선할 수 있는 기회를 주면 된다고 생각한다.
2. 두번은 읽어보자
원고를 꼼꼼이 두번 읽기가 쉽지 않을 수 있다. 대부분의 피어 리뷰가 자원봉사 처럼 진행되는 구조이기에, 이렇게 신경을 써 주기가 쉽지 않은 경우가 많을 것이다. 그렇지만 내 연구들도 결국에는 피어 리뷰어들이 가르쳐주고, 제안을 해 줘서 수준이 쌓이고 하는 것인지라 학계를 위한다는 생각에 피어 리뷰에 시간을 조금씩 쓰는것도 나쁘지 않다. 뿐만 아니라, 피어 리뷰를 열심히, 하고 하고 또 하고 할 수록 논문의 내용과 강점, 약점을 더 빠르고 효율적으로 파악하는 능력이 생기기 때문에 피어 리뷰는 연구자의 역량을 키우는 데도 도움이 된다는 생각이다.
그런데, 앞서 이야기한 것 처럼 한번 독자/동료연구자 입장에서 쓱 읽으면서 내용을 체크한 다음, 맨 앞으로 돌아가서(보통은 하루 정도가 지난 다음에 새로운 마음으로) 다시 읽기 시작하면, 경험상 논문이 조금더 큰 틀에서 보이는 것 같다. 조감도가 보이는 것이다. 방향성에 대한 아이디어는 최소한 두번은 읽어야 떠오르는 것 같다. 한편으로는 처음 읽을 때 그야말로 첫인상에 의존해서 보게 된다면, 두번째 읽을 때는 첫인상에 의한 감정(특히... 분노)을 조금 더 없애고 읽을 수 있는 것 같다. 그래서 여러 가지 측면을 고려할 때 좋은 피어 리뷰 코멘트를 쓰려면 적어도 두 번 이상은 읽어보고 쓰는 게 좋다고 생각한다.
3. 남의 입장에서 봐주면 도움이 되는 것들
꽤 많은 경우에 원고의 작성과 분석은 실질적으로 한 사람이 하게 되는 것 같다. 교과서적으로 배운 '연구'에서는 시니어 연구자의 역할이 어쩌구 많이 나오지만 현장에서 수많은 연구자들과 논문을 작업해보니 공동연구자나 시니어 연구자가 얼마나 연구에 실제로 힘을 보태는 지에는 무척 다양한 스펙트럼이 존재함을 느낄 수 있었다. 공동제1, 공동교신 등 다수의 주저자가 존재하는 연구에서도 바람직한 것은 아니지만 펀딩이나 정치적 역학에 의하여 많은 저자들이 정해지고 실제 원고 작업은 대부분 젊은 나이의 한 연구자가 일임하게 되는 것이 현실이다.
그렇게 논문을 쓰다 보면 정말 논문을 읽고 건설적인 조언을 해줄 사람을 찾기가 쉽지 않은데, 나도 돌이켜 생각해보면 상당히 까다로운 내 연구 분야의 전통적 잡지들에서 노련한 선배 연구자들이 조언해준 덕에 분석 방법이나 논문 작성 방법이 어느정도 학계의 수준에 도달할 수 있었던 것 같다.
특히 혼자서 작업을 하다보면 매너리즘에 빠져서, 어이없는 실수를 하게 되는 경우가 있는데, 예를들어 내용을 전개하는 과정에서 통으로 덜어낸 데이터의 방법론이 남아있음에도 불구하고 자꾸 보다 보면 스스로는 인식을 잘 하지 못하는 경우가 있다. 오타를 찾는 것도 계속 보던 사람이 보면 인지를 못하는데, 다른 사람이 새로운 시각으로 보다보면 쉽게 찾게되는 경우가 있다.
개별 연구자가 논리 전개를 하는 방법이나 분석에 사용하는 도구들이 어느정도 정형화가 되어 있는 경우가 많다. 이럴 때, 매너리즘에 빠진 사고의 틀에서는 답보 상태에 머물러 있는 원고를 새로운 분석 기법이나 논리 전개의 아이디어를 제공해 주는 것도 피어 리뷰어의 큰 역할이다. 나는 실제로 어느정도 원고가 막다른 골목에 막히면, 일단 그 상태로 완결을 시킨 후에 투고를 해서 리뷰어 의견을 듣고, 덕분에 새로운 돌파구를 찾는 경험도 종종 하게 되었다.
4. 적당한 선을 익히자
바쁜 연구자들은 너무 짧게 코멘트를 주는 경향이 있다. 경험이 많은 리뷰어라면 그 짦은 내용 안에 상당한 내용들을 녹여내기도 하지만, 너무 힘빠지고 서운한 리뷰가 되기도 한다. "넌 별로야." 끝. 어쩌란 말인가. 무조건 "참 잘했습니다" 하는 리뷰도 마찬가지로 좋지는 않다. 정말 잘 씌어진 원고라도, 객관적으로 보았을 때 작게라도 개선될 여지들은 있게 마련이다.
이제 논문을 몇편 써 본 리뷰어들이 아주 힘이 쪽 빠지게 자세한 리뷰를 샅샅이 써 주는 경우가 있다. 코멘트만 해도 몇 페이지를 넘는 식이다. 안타깝게도 이러한 코멘트 중에는 '옳고 그름' 을 가릴수 있는 부분도 있지만 '취향' 에 해당하는 것들도 많다. 논문을 써 줄 것도 아닌데, 리뷰 코멘트를 보는 것 만으로 힘이 다 빠질 지경이 되는 경우가 있다. 별로다.
내가 에디터로 일하는 노인의학 분야에서는 메이저 포인트와 마이너 포인트를 합쳐서 5~10개 정도, 조금 더 자세히 하는 경우라면 최대 15개 정도 까지는 지적을 하는 것이 평균 정도가 되는것 같은데, 그 안에 원고의 방향과 데이터 분석, 결과의 해석, 연구의 한계, 포맷 까지를 적정 선에서 녹여내면 되는 것 같다. 워드프로세서에서 작성해 보면 A4용지로 보통 한페이지에서 두페이지 가량이 된다.
5. 역지사지
피어 리뷰는 대개 싱글 블라인드(저자는 리뷰어를 알지 못하고, 리뷰어는 저자를 아는 상황)가 되는데, 이 때문에 너무 빡세게 저자들을 괴롭히는 경우들이 있다. '어디 한번 내가 당한걸 갚아보마' 라는 심정 처럼 리뷰를 하는 연구자들도 적지 않다.
개선을 해도 도저히 안될것 같은 논문은 이미 데스크 리젝을 에디터가 하게 마련이다. 어느정도 편집위원진이 일을 열심히 하는 괜찮은 저널들에서 데스크 리젝을 하지 않고 리뷰를 일단 보낸다는 것은 여러 연구자들이 합심해서 원고를 더 좋게 만들기 위한 방법을 모색해보자는 의도가 크다. 저자들이 다음 번에는 나를 도와줄 수 있다는 생각으로, 나아질 수 있는 길을 제안해주자.
6. 저널도 감안하자
물론 모든 연구자는 최선의 데이터와 작문의 질을 갖추기 위해 노력해야 할 필요가 있다. 그렇지만, 연구 주제나 데이터의 특성, 결과의 의미, 생성한 증거의 수준에 따라 무수히 다양한 수준의 학술지에 원고를 보내게 된다. 그러므로 리뷰어는 원고와 저널의 수준을 둘다 감안할 필요가 있다.
아주 선행연구적(preliminary) 결과가 실리는 저널에 탐색적 데이터를 투고하고 디스커션 부분에서 한계를 나름대로 인정하였는데, 리뷰어가 방대한 재분석과 가용한 데이터로는 어려운 부분이 많은 새로운 분석을 장문의 코멘트를 요구해온 적이 있다. '그렇게 할 수 있었으면 여기에 안냈지..' 그야말로 학술지의 와꾸를 봐서 리뷰를 해야 하는데, 아는 이야기는 다 해 준 식이다. 이런 리뷰는 베타 에러(beta error)다. 학술지 수준에 충분한 논문도 게재허가가 안되는. 반대로 알파 에러(alpha error) 같은 리뷰도 가능할 것이다. 너무 대충 리뷰를 해서/또는 리뷰어의 역량이 부족해서/또는 역학관계상 어쩔수 없어서 구멍이 숭숭 뚫린 연구가 수준에 맞지 않게 좋은 저널에 버젓이 실리게 될 수도 있다. 선진국의 유명한 연구 그룹에서 나오는 논문 중에 간혹 그런 모습이 보이는 것들이 있다.
7. 저널과 에디터에 도움이 되는 리뷰
우리 학술지의 경우에는 2년 전 부터 편집장과 편집간사(필자)가 게재되는 논문의 편집 교정(editorial proof)를 전부 다 직접 보아 오고 있다. 정말 적지 않은 노력이 드는데, 그 만큼 배우는 것도 있다. 내 논문을 보아야 하는 에디터들은 눈에 걸리는게 별로 없도록 미리 잘 다듬을 수 있게 되었으니까.
에디터는 저널의 과학적 우수성(integrity)과 연구 윤리를 관리해야 할 의무가 있고, 저널의 피인용 지수도 향상을 시켜야 하고, 시간에 쫓기고(투고된 원고의 거취를 빨리 결정하고 잘 된 원고는 빨리 고쳐서 게재시켜야 하고) 있다. 그리고 대개는 경제적 보상 없이 쉬는 시간에 저널 업무를 본다.
그렇게 교정를 보다 보면 때로는 리뷰어들이 야속할 때가 있다. N수가 맞지 않고 소수점 자릿수가 엉망진창인 표, 도저히 영어라고 생각되지 않아서 다시 써야 하는 문장들, 인용이 제대로 되어 있지 않은 주장들, 갑자기 디스커션에 새로운 데이터 이야기가 등장하지를 않나.. 스위스 치즈 같은 구멍을 숭숭 통과해서 이런 오류들이 편집 교정까지 넘어온 것이다. 가끔은 '아뿔싸' 싶을 때도 있다.
초 빠른 오픈 억세스 저널들의 부상과 함께 과거에 비해 리뷰에 허용되는 소요 기간이 갈수록 짧아지고 있기에, 이런 일은 앞으로 더 흔해질 것 같다.
논문 리뷰를, 내가 쓸 코멘트를 바탕으로 이 원고가 낫게 고쳐져서 종국에는 편집 교정을 받고 저널 포맷으로 출간이 되었을 때에 어떤 모습이 될 지를 상상하면서 해 보면 어떨까. 데이터를 만들고 원고를 마무리하느라 지쳐 있는 저자가 한 걸음 더 험한 절벽을 올라갈 수 있게 엉덩이를 받쳐 주는 심정으로 원고의 부족함에 힘을 보태주는 것이다.
8. 마치며
이렇게 정리를 하고 보니, 갈수록 리뷰가 짧아지고 있는 나 스스로에 대한 반성도 하게 된다. 여러 리뷰어들이 도와주는 우리 저널의 리뷰가 더 충실해지기를 바라고, 나 또한 이 글에서 생각했던 내용들을 지금보다는 더 지치고 바쁠 미래에도 늘 잊지 않고 실천할 수 있기를 기대해 본다.
