brunch

브런치북 논문을 처음 쓰는 당신에게 08화

라이킷 6 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 이정우 Jul 28. 2021

해외 학술지에 도전하다: 2021년(2)

두 번째 실패의 기록

각자 다른 평가로 인한 혼돈

아주 감사하게도 대가들로부터, 내가 쓰고 있는 주제에 유명한 교수들로부터 나의 논문에 대한 평가를 받으면서 나는 이를 통해서 나의 논문을 고쳐가야겠다는 부푼 꿈에 있었다. 그런데 막상 평가를 받고 나니 혼돈이 밀려왔다. 왜냐하면, 대가들마다 논문에 대한 평가가 다 달랐기 때문이다. 이름을 밝히지 않고 평가들을 요약하자면, 한 분은 "이론은 참 좋다. 그런데 통계 분석의 측정 방법과 경험적 결과의 강건성 부분이 조금 다르게 보강되어야할 필요가 있다"고 했다. 두 번째 분은 "통계 분석은 충분한 것 같다. 다만 이론이 모자란 것 같으니 나의 논문을 읽어보고 이걸로 잘 보강해보라"는 말을 했다. 마지막으로 세 번째 분은 "종속변수를 왜 굳이 지출로 지정했는지 모르겠다. 그리고 이론 부분에 이런 부분이 문제고, 저기가 문제고 그래서 고칠 것이 너무나 많다"라는 코멘트를 줬다.

만약 저렇게 세 분이 익명의 심사자였다면, 두 분 정도는 고쳐서 다시 제출해라고 했을 것이고, 한 분은 완전히 리젝을 먹였을 수도 있다. 이렇게 평가가 극명하게 갈릴 수 있는가하는 의문이 들었고, 여기서 어떻게 해야할지 몰랐다. 마지막으로 영상 통화를 했던 김남규 교수의 경우, "이론을 대립적으로 두 가설을 보이지만 한 톤으로 하나의 주장을 하는 것이 나을 것 같다. 통계 분석은 나쁘지 않으니 독립 변수도 측정 방법을 다른 것으로 바꿔서 보여주면 좀 더 괜찮을 것 같다"는 코멘트를 해주셨다. 듣고 더 혼란에 빠졌다. 도대체 어떻게 고쳐야 되는거지? 누구는 이러라 그러고 누구는 저러라 그러고.

그래서 마지막으로 비슷한 분야를 공부하는 미국의 어느 대학 박사과정 박상훈 선생님께 이메일을 보냈다. 그랬더니 정말 금방 메모를 달아서 논문의 처음에서부터 끝까지 궁금한 지점 혹은 이해하지 못하겠는 지점을 적어서 보내줬다. 박상훈 선생님은 주로 이론 부분에서 납득이 가지 않는 지점, 그리고 독립변수의 측정의 문제를 고려해줬다. 사실 전반적으로 김남규 교수님과 같은 것이었기 때문에 박상훈 선생님의 코멘트와 김 교수님의 코멘트가 가장 많이 와닿았다.

두 번째 투고 도전과 실패

다만, 김남규 교수님과 박상훈 선생님의 코멘트는 애초에 측정 방법을 달리하는 것이기 때문에, 통계 분석에 품이 많이 들어가야했다. 지금은 연도가 다 포함된 것이지만 측정 방법을 바꾸게 되면 모든 연도가 다 포함되어있는 패널 데이터라기 보다는 시계열 교차 데이터(time series cross sections, TSCS)가 되기 때문에 (두 데이터의 차이점에 대해서는 박종희, 2020을 참고하라.) 이걸 고치기 이전에 혹시 학술지에서 지금 버전의 논문을 어떻게 생각할지 궁금했다. 그래서 그렇게 고치기 이전에 두 번째 투고를 해보려고 했다.

어떤 저널에 냈는지는 밝히지 않으려고 한다. 우선 1차에서 데스크 리젝을 당하지는 않았다. 그리고 외부 리뷰로 넘어갔다. 코로나 시기여도 생각보다 빠르게 두 달만에 리뷰 결과가 나의 이메일로 돌아왔다. 결과는 리젝이었다. 두 번째 리뷰어는 사실 내 논문을 읽지도 않은 것 같았다. 말이 안된다며 리젝을 해야한다는 평가를 내놨다. 그건 우선 넘기고 첫 번째 리뷰어는 적어도 내 논문을 읽은 것 같았다. 평은 바로 경험적 분석 결과가 가설을 정확히 반영하는 모델이 아니라는 것. 그 점에 대해선 수긍할 수 있었다. 또한, 독립변수와 통제변수 간의 다중공선성(multicollinearity) 문제가 있어보이는데, 결국 독립변수의 결과는 통계의 인공적인 산물이 아닐까하는 의문을 내어놓았다. 두 분 다 리젝을 원했으니 결과는 좋지 않았지만, 평이 이렇게나 날카로울 줄이야. 아니, 인공적인 산물이라니. 적어도 그럼 나의 분석 결과를 편집장도 보여달라는 말을 했어야 하는거 아닌가?

처음에는 이 리뷰들을 읽고 화가 많이 났었다. 내 논문을 정말 읽기는 한건가. 내가 주위 사람들에게 이런 식의 코멘트는 받지 않았는데, 이 사람들 내 전공이랑 비슷한 것을 하는 사람들은 맞아? 흥분이 가라앉지 않았으나 며칠 지나니까 또 괜찮아졌다. 얼른 고쳐서 두 번째 투고를 하리라 생각을 했다. 이럴 때에는 주위에 공부하는 공동체를 두고 이 점에 대해서 하소연할 곳이 필요하다. 나는 그래도 주위에 같이 공부에 대해 이야기할 사람들이 있어서 참 다행인 것 같다.

통계 모델의 전반적인 수정

결국 김남규 교수님과 박상훈 선생님의 지적을 받아들여 통계 모델의 대대적인 공사를 시작했다. 데이터를 아예 처음부터 다시 점검하기 시작했다. 어느 데이터로부터 정확히 가져왔는지 하나하나 검수하고 데이터를 만들기 시작했다. 데이터 전처리 작업만 거의 2-3주 가까이 들였던 것 같다. 그리고 짜여진 명령 코드로 분석을 하는 것은 금방이다. 그렇게 분석을 끝내니까 피곤이 밀려왔다. 결국 결과가 다 달라지니까 글을 하나하나 다시 써야하는 것 아니겠는가. 글을 그렇게 완전히 쓰는데 꼬박 4일에서 5일 정도 걸렸던 것으로 기억한다.

이것을 적을 때가 부모님 댁에 살 때인데, 아침에 일어나서 논문 쓰고 점심 먹고 좀 쉬다가 다시 논문 쓰고 저녁까지 쓰다가 잠들고 이러니까. 저녁에 이제 쉬려고 나가면 "끝났어?"하고 물어보시는데, "아니"라고 대답하면 "그렇게 할게 많아?" "응, 오늘은 그냥 그만 하고 내일 할래"라는 말이 반복되었다. 무슨 그렇게 논문 작업이 힘드냐며, 그렇게 할 것이 많냐며. 예전에는 공부하면 진짜 그만하고 취직하라고 그랬는데, 이제는 그런 말은 하지 않는다. 이왕 박사과정에 들어간거 밀어줘야하지 않겠냐는 엄마 말이 감동이었다. 그렇게 완성한 논문으로 세 번째 도전을 했다. 다음 장에서는 세 번째 도전과 박사과정으로의 진입 과정을 적어보고자 한다.

<참고 문헌>

박종희(편), 2020, 정치학 방법론 핸드북, 서울: 사회평론아카데미.

keyword

Brunch Book

논문을 처음 쓰는 당신에게