논문 피어 리뷰에 대해서
박사학위를 마칠때쯤 되었을때 처음으로 미국물리학회지 편집자에게 논문 심사 의뢰 요청이 왔던걸로 기억한다. 박사학위를 하는 동안 곧줄 나는 논문을 제출하면 "평가 받는" 입장이었는데, 나도 본격적으로 다른 연구자들의 논문을 자세히 검토하고 심사하는 입장이 되니 감회가 새로웠다. 물론, 내가 처음 심사를 맡았던 논문은 아주 특별한 논문은 아니었던걸로 기억한다. 지금 돌아보면 새로운 내용도 없었고 이 논문과 비슷한 주제로 출판된 논문이 여럿 있었음에도 인용이 되어있지 않은 허술한 논문이었다. 그래도 나는 아주 성실하게 논문을 검토하고 리포트를 작성해서 제출했다. 물론, 리포트는 이 논문이 출판되기에 부족한점들을 논리적으로 설명했고, 결국 이 논문은 내가 원했던 대로 개재승인을 받지 못했다.
논문 심사를 본격적으로 맡은지는 이제 3년정도 되었다. 이제 저널의 편집자들도 내가 어느 분야의 전문가인지를 잘 파악했는지 내 연구 분야의 주요 논문들도 나에게 심사 요청이 온다. 그래서 시간이 지날수록 논문 심사가 좀 더 재미있어진다. 이 분야의 주요 발견들을 누구보다 빨리 접할 수 있을 뿐만 아니라 논문 심사를 위해 저자들에게 질문을 맘껏 할수 있기 때문이다.
지난 3년간 나도 꽤 여러편 논문을 출판했고, 논문을 출판하면서 많은 저널에서 피어 리뷰를 받았다. 논문 개재가 승인되는것과는 별개로 내가 제출한 논문에 대한 심사는 대부분 합리적이었지만, 리뷰를 받아보고는 어의가 없었던적도 꽤 있었다. 논문 심사가 나에게 도움이 되었던 경우를 얘기하자면, 심사중에 리뷰어가 몇가지 질문을 하면서 이런 저런 내용을 확인해보는게 어떻냐는 제안을 한 적이 있었다. 이 질문들은 내가 생각하기에도 아주 합리적이었을 뿐만 아니라 내가 논문에서 주장하는 가설을 다른 각도에서 검증할 수 있는 방법이 되기도 했었다. 시간이 좀 걸리긴 했지만 나는 리뷰어가 제안한 대로 연구를 좀 더 진행했고, 결과는 우리가 예상했던것과 정확히 맞아떨어졌고 덕분에 논문의 논의는 더욱 풍성해졌다. 다른 경우 한 심사위원은 내가 쓴 논문의 이런 부분이 어렵게 느껴지고 이해하기 쉽지 않다고 아주 솔직한 의견을 주었다. 그래서 나는 기술적인 이론적 논의는 논문 뒤쪽으로 옮기고 초반부는 주요 결과와 아이디어의 핵심만 언급하는식으로 구조를 바꿨고, 결국 최종 논문은 훨씬 이해하기 쉬울 뿐만 아니라 구조도 잘 갖춰진 형태가 되었다.
반면 논문 심사를 받았을때 어의가 없던 경우는 심사위원이 자세한 이유를 설명하지도 않고 비슷한 연구가 이미 진행된게 있고 별로 흥미로워보이지도 않는다는 이유로 개재 승인을 거절한 경우였다. 리뷰를 읽어보면 이 심사위원은 내 논문을 재대로 읽어보지 않은게 분명해보였고, 내가 논문에서 주장하는 내용을 다른 논문과 혼동하기까지 했다. 그렇다고 내가 논문을 아주 혼동되게 쓴 것도 아니었고, 오히려 나는 이전에 출판된 다른 논문의 결과를 잘 알고 있었기에 내가 논문에서 주장하는 새로운 결과가 이전에 출판되 논문과 어떻게 다른지 차별점을 강조해서 설명했다. 만약 이 때 편집자가 개입해서 소모적인 논쟁을 끝내고 건설적인 방향으로 (적어도 논증이 가능한 내용을 논의하는 식으로) 심사를 이끌어갔으면 했는데, 편집자는 수동적으로 심사위원의 말을 그대로 받아들였다. 나는 저널에 항의를 해서 편집자 윗선의 자문위원에게 심사를 받을 기회를 얻었지만 최종 심사 끝에 결국 논문은 거절되었다. 물론 시간이 흘러 이 논문은 다른 저널에 출판되게 되었고, 현재 내 연구 프로필의 주요 업적이 되어 대부분 이 분야 연구자들은 이 논문을 통해 나를 기억한다.
반대로 다른 연구자의 논문을 내가 심사할때는 나는 내가 논문을 심사받은 경험을 바탕으로 가능하면 합리적이고 건설적인 논의를 이끌어내려고 노력한다. 우선, 논문의 내용이 맞는지 틀린지에 대한 평가는 생각보다 쉬운편이다. 어떤 가설을 검증하기 위한 논리를 설계하고나면 가설이 맞는건 맞는거고, 틀린건 틀린거다. 이 때 심사위원의 역할은 논문의 저자들이 가설을 검증할 때 고려하지 않은 다른 요인이 있지는 않은지 혹은 불확실한 부분이 있지 않은지 검토하는 것이다. 한편, 오히려 이 연구 결과가 중요한지 아닌지에 대한 가치판단은 쉽지 않고 가급적 조심하는 편이다. 가끔식 편집자로부터 가치 평가를 해달라는 요청이 특별히 받으면 현재 이 분야 연구의 지정학과 흐름속에 이 논문이 어떤 위상을 갖는지를 반드시 설명한다.
또한, 내 개인적인 팁이 있다면 나는 논문 심사평을 작성할 때 글을 작성한 뒤 곧바로 제출하지 않고 다음날 좀 더 생각을 한 뒤에 최종 제출을 한다. 왜냐하면 논문을 읽고 난 뒤 곧바로 심사평을 쓰면 나도 모르게 편향된 심사를 할 가능성이 높기때문이다. 다음날 리포트를 한번 더 살짝 수정을 하면 글이 좀 더 차분해지고 논리정연해진다.
내가 생각하기에 과학글쓰기에서 무엇보다 중요한건 주장과 이에 대한 논거를 뚜렷하게 쓰고 논리적인 구조를 명백하게 표현하는 것이다. 특히 어떤 주장을 글로 표현할 때 "not even wrong"이 되지 않도록 해야한다. 이는 학회 발표의 경우도 마찬가지인데, 도대체 저자가 무슨 내용을 주장하는지 그리고 이론 및 실험 결과가 논문의 주장을 어떻게 뒷받침하는지 그 논리가 명확하지 않은 경우는 오히려 틀린 주장을 하는것보다 못하다고 생각한다.
논문을 제출하거나 심사하면 저널마다 방향성이 다른점들이 보이고, 편집자들의 스타일도 다르다. 예를 들면, 미국물리학회지의 경우 편집자의 권한이 크지가 않고 심사위원의 보고서가 아주 편향되거나 질이 낮은 경우가 아니면 다수결(?)로 논문이 평가된다. 반면 네이처를 포함한 네이처 그룹 저널들에서는 에디터의 권한이 꽤 강한편이고, 에디터가 생각하기에 특정 심사위원이 더 전문가라고 생각되면 해당 리포트에 좀 더 가중치를 두고 평가를 하는듯 하다. 각각의 방식마다 장잔점이 있고 하고싶은 이야기도 많지만 민감한 이슈라 특별히 논의하진 않으려고 한다. 학계에 있는 분들은 얘기하지 않아도 이미 잘 알거라 생각한다. 보통 유명 저널로 갈수록 논문의 과학적 측면에 대한 기술적 측면 뿐만 아니라 가치에 대한 평가도 크게 작용한다.
마지막으로, 논문 심사를 하면서 아쉬운점이 있다면 논문 심사를 하는데는 생각보다 많은 시간과 노력이 들어감에도 불구하고 그 공로가 딱히 인정되지 않는다는 점이다. 논문 심사는 모두 익명으로 이뤄지기 때문에 내가 이 논문 심사를 맡았다고 공개할 수도 없기 때문이다. 최근 출판업계의 동향을 보면 피어 리뷰에도 점수를 부여하려는 움직임이 있는데, h-index와 마찬가지로 같이 논문 심사위원에게 수치를 부여하려고 하는듯 하다. 개인적으로는 연구자들을 줄세우기식으로 점수를 부여하는것에 반대하지만, 피어리뷰에 대한 정성적인 평가를 어떤식으로 할 수 있을지는 나도 막연한 입장이다.
