brunch

매거진 Behind Paper

라이킷 2 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Fulton Apr 25. 2017

연구자가 신뢰를 잃어가는 방법

인용의 중요성

페이퍼를 하나 쓰다가 어처구니없는 것을 확인해서, 이렇게 글을 쓰게 되었다. 북핵문제에 관련한 페이퍼였는데, 어떤 저명한 한국계 재미 학자의 글을 인용하기 위해서 찬찬히 읽고 있었다. 앞부분에서는 체계적으로 인용이 되며 사실관계에 교차 검증이 가능하게 미주도 잘 달려 있고 그랬지만 본인이 관료가 되었던 시점부터는 말 그대로 그냥 회고록이 되어 있었다. 아카데믹한 서적을 쓰고 그 책이 체계를 가진다면 본인이 관료 시절에 겪은 일에도 교차검증이 가능하게 여러 자료를 보여주는 게 맞다고 생각하지만 저자는 그냥 죽 자기의 시각만을 내세우고 있었다. 그래 뭐 그럴 수 있지라는 생각에 죽 읽다가, 책에 인용된 사실관계의 체크를 하기 위한 목적으로 1차 자료를 확인하기 위해 미주(note)를 확인했다. 근데 앞에서 인용했던 1차 자료의 저자와 이름이 비슷하고 제목은 똑같은 글에서 따온 것이었다.

확인하려 했던 미주는 27번이었다. 21번과 제목은 같았기에 둘 중에 하나는 오타라고 생각했다. 문제는 인용 자체가 불 완전한 서 지정보를 담고 있었기에 앞에서 같은 서지를 인용한 미주를 확인해야 했다. 보통 반복적으로 인용되는 서지정보의 미주는 약식으로 처리하기에 앞에만 확인하면 될 것이라 생각했다. 그때까지는 그렇게 생각했다.

앞에 서지를 확인하는 다음과 같은 내용이 나왔다. 처음에는 3번의 서지라 생각했는데 찬찬히 내려보니 6번의 서지도 같은 제목의 보고서였다. 그래서 같은 보고서를 이렇게 처리한 것이라 생각했는데 자세히 보니 미국 의회에 내놓는 보고서인데 보고서 넘버가 달랐다. 이런 경우는 보통 다른 보고서인데 같은 제목에 시기가 다르게 제출된 경우이기에 이렇게 나타나는 경우가 좀 있다. 근데 문제는 발간일 정보가 3번과 6번이 모두 동일했다. 이게 뭐지라는 생각이 들었다. 뭐가 잘못된 걸까 해서 저 원 보고서를 찾아보기로 했다.

3번 미주로 처리된 보고서는 “ForeignAssistance to North Korea” (https://fas.org/sgp/crs/row/R40095.pdf)라는 보고서였다. 제목이 잘못 넣어졌구나는 생각이 들었다. 발간일은 저기에 기입된 2011년 1월 20일이 아니라 2014년 4월 20일이었다. 3번만 잘못되었겠거니 하는 생각이 들었으나 6번을 확인하는 순간 꽤나 당황스러웠다. 6번의 제목은 “North Korea’s Nuclear Weapons: Technical Issues”(https://fas.org/sgp/crs/nuke/RL34256.pdf) 이 맞기는 했지만 발간일이 2013년 4월 3일이었다. 2011년 1월 20일이 역시 아니었다. 대체 2011년 1월 20일이 어디에서 왔는지 알 수 없어서 갸웃했다. 그냥 이 정도만 잘못되었겠지라는 생각이 들었지만 다시 27번 미주로 돌아가, 내가 찾고자 하는 내용을 일단은 확인하려 했다.

여기에서 문제는 또 발생했다. 27번 각주에 쓰여있는 내용이 표기된 17 페이지에 존재하지 않았다. 이쯤 되니까 이제 이 저명학자에 대한 불신이 밀어닥치기 시작했지만 난 6번과 27번 미주에 나온 보고서를 찬찬히 뒤지기 시작했다. 그랬더니 나온 것은 17페이지가 아니라 10페이지였다. 연속되는 말도 안 되는 인용 처리에 연구윤리에 확실히 문제가 있다는 생각이 들었지만 혹시 한글로 된 번역서가 잘못 넣은 게 아닌가라는 생각이 들어 원서를 직접 찾아보기로 했다. 그러나 원서와 번역서의 각주가 하나도 다르지 않고 똑같은 것을 확인할 수 있었다. 거기서 이 학자에 대한 신뢰도가 확 떨어지게 되었다.

언론과 마찬가지로 사회과학 연구에서도 팩트 체크는 중요하다. 특히 역사적 사실을 다루는 분야에 있어서 이러한 팩트 체크는 교차 검증을 통해 이뤄지는 데, 그런 차원에서 이러한 팩트를 지지해줄 원 자료 출처와 그 자료의 출처를 표시하는 인용은 몇 번을 강조해도 중요한 문제이다. 이것을 이른바 네임드 학자가 이렇게 했다는 것에 어처구니가 없음을 느꼈다. 솔직히 말하면 굉장히 황당했다. 더 이상 이 학자의 저작을 자료로 사용할 수 없다는 생각이 가장 먼저 들었다.

일단 잘못된 문제들은 다음과 같다. 첫째, 인용한 저자의 이름이 완전히 틀렸다는 것. 둘째, 인용한 보고서의 제목을 완전히 잘못 기입했다는 것. 셋째 인용한 보고서의 날짜가 완전히 틀렸다는 것. 넷째, 인용했다고 기입 한 페이지가 그 내용이 없다는 것. 이것은 기본적으로 1차 사료를 아주 엉망으로 다루고 있다는 뜻이 된다. 이런 학자에게 우리가 배워야 할 것은 적어도 나는 이러지 말아야지라는 반면교사밖에는 없다.

keyword

Fulton 직업 칼럼니스트

외국을 나갈 준비를 하면서 가르치고, 국제정치와 개인의 삶에 대해 쓰면서 사는 중.

구독자 35

매거진의 이전글 악필로서 살기

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari