리뷰어의 역할과 역량

논문 리뷰, 상처주지 않고 정중하게 비판하는 기술

Hinckley, K. (2015). So you’re a program committee member now: on excellence in reviews and meta-reviews and championing submitted work that has merit.

리뷰어의 역할은 무엇일까? 깐깐한 눈으로 제출된 페이퍼들의 흠을 찾고, 왜 이 페이퍼가 accept되면 안되는지 주장하는 것? 수많은 페이퍼들 중 무결점 연구를 찾아내는 것? 

논문을 제출하는 연구자가 할 수 있는 최소한의 노력은, 바로 읽기 쉽고 보기 좋은 글을 쓰는 것이다. 그럼에도 불구하고 연구자들은 대게 나쁜 리뷰를 받는 경향이 있는데, 리뷰어들이 페이퍼를 리뷰할 때 이 연구가 마음에 들지 않는 이유를 찾아내려고 하기 때문이다. 그러나 실제로 리뷰어가 reject의 이유로 지적하는 것이 때로는 논문이 출판되지 못할 정도의 치명적인 결함이기보다는, 단순히 결과를 프레이밍하고 정당화하는 논리 전개의 부족일 때도 있다. 

이처럼 깐깐한 리뷰에 대항하여 연구자는 흠이 없는 완벽한 페이퍼를 쓰기 위해 노력한다. 그러나 이러한 피드백 루프는 지양되어야 한다. 연구자는 페이퍼가 accept되도록 하기 위해 그들의 연구를 더욱 더 좁고 안전한 영역에 두려 하고, 도전적인 연구를 꺼려하게 될 수 있기 때문이다. 연구란, 불확실한 가치가 있는 토끼굴을 탐험하는 것이다. 리뷰어는 연구자가 보다 더 용감하게 토끼굴을 탐험할 수 있도록 지지할 필요가 있다. 단순히 결점을 찾아내 지적하기 보다는, 저자조차 알아채지 못한 연구의 가치를 표면화할 수 있게 논의를 이끌어내면서 말이다. 

처음으로 국제 학회에 논문을 제출하고 리뷰를 받았을 때, 메일을 켜고 마주한 수많은 텍스트들에 지레 겁을 먹고 바로 닫았었다. 어쩌면 그 연구 - ‘넵’병 - 가 미흡한 점이 많다는 것을 스스로도 너무 잘 알고 있었기에, 리뷰를 읽어보기 겁이 났던 것 같기도 하다. “I believe that the research behind this submission has plenty of potentially interesting nuggets of information. However, the presentation and report of the studies leave much room for improvement; the paper is far from being ready for publication” 라는 부분을 읽으니, 리뷰어가 나에게 상처주지 않고 정중하게 reject을 주려고 얼마나 고심해서 썼을까 싶었다. 이 리뷰어가 ‘네 페이퍼는 기본도 갖추지 못했어. 아직 한참 멀었다’라는 뉘앙스로 리뷰를 줬더라면 어땠을까. 비록 1점을 주더라도 조심스럽게 코멘트를 준 리뷰어 덕분에 내가 박사과정을 포기하지 않았던 건 아닐까. 새로운 지식은 엄격하게 검증되어야 마땅하다. 그러나 엄격해야 한다고 해서 쌀쌀맞을 필요는 없다. 

햇병아리 석사생 시절, 동기들과 논문 스터디를 한 적이 있었다. 각기 다른 연구실에 속해 있던 우리 여섯명은 매주 돌아가면서 읽을 논문을 선정하고 토론을 나눴다. 되짚어보면 시도는 참 좋았지만 참 멋모르고 했던 스터디였다. 서로 잘 모르는 분야의 연구에 대해 (사실 연구라는 것 자체를 잘 모르던 시기이지만), ‘이 연구가 왜 베페 (Best Paper)를 받았는지 모르겠다’, ‘이 연구가 왜 중요한지 모르겠다’ 하는 식의 대화가 오갔었다. 논문 자체는 열심히 읽었지만 연구의 가치를 이해하고 그것을 논의하기에는 부족함이 많았던 것 같다. 야심차게 시작했던 논문 스터디였고 다양한 분야의 디자인 논문을 접할 수 있었다는 점에서는 의의가 있었으나, 리뷰어의 시선에서 논문을 리뷰하고 토론했다면 조금 더 유익한 시간이 되지 않았을까 하는 아쉬움이 있다. 

수업 시간에 신진 연구자와 중견 연구자 중 누가 더 긍정적인 리뷰를 줄까에 대해 잠깐 토론을 나눴다. 보통 신진 연구자가 좀 더 깐깐하게 리뷰를 준다고 한다. 리뷰 역량은 크게 세 단계로 진화한다는 생각이 들었다. 첫번째 단계는 비판적 사고가 0일 때이다. 논문을 교과서 읽듯이 수동적으로 읽는다. 두번째 단계는 비판적 사고가 100일 때이다. 박사과정을 겪으며 깐깐하게 논문을 읽는 능력이 생긴다. 세번째 단계는 비판적 사고가 어느 정도 균형을 맞추었을 때이다. 잘못한 점 뿐만 아니라, 잘한 점 혹은 발전가능성이 있는 부분을 더 드러낼 수 있게 된다. 언젠가 나에게도 논문 리뷰의 기회가 온다면, 어두컴컴한 토끼굴을 탐험하는 저자에게 더 튼튼한 삽과 더 밝은 랜턴, 성능 좋은 나침반을 쥐어줄 수 있는 리뷰를 하고 싶다.