by
Jun 13. 2020
"논문을 고쳐서 다시 보내주세요"
박사과정생의 멘탈은 얼굴에 깐 철판 두께와 정비례합니다.
모르긴 몰라도, 박사과정 중인 대학원생은 누구든 적어도 한 번쯤은 논문을 출판하기 위해 전전긍긍하지 않을까 싶습니다. 본인이 그럴 생각이 없더라도, 주변 학우들이 출판, 출판, 중얼거리며 굽은 등으로 타자를 치고 있는 모습을 보면 누구든 그 쿨한 모습에 혹해 "나도 출판을...?" 하며 눈을 동그랗게 뜨게 된답니다.
보통 대학원생의 논문은 1) 석사논문을 다듬어서 출판하기 2) 박사논문 연구결과를 중간결산하듯 써서 출판하기 3) 코스워크 하면서 겸사겸사 써 놓은 리서치 페이퍼를 논문으로 재가공하기 등으로 크게 나뉘는 것 같습니다. 그래서 정치학부 박사과정생들의 경우 졸업 전 박사논문 외 1-2편, 또는 그 이상의 논문을 정치학 저널에 출판하는 경우가 흔한 편입니다. 아예 박사논문을 학술지 출판 3편으로 대체하는 경우도 점점 흔해지는 편이랍니다.
물론 쓴다고 다 출판이 되는 건 아닙니다. 투고되는 논문 절대 대다수가 거절당합니다. 한 번쯤 이름 들어본 저명한 분들도 종종 거절당합니다. 얼마나 많은 논문들이 짤리는지, 날고 기는 교수님들도 학생들에게 종종 "이 업계의 기본값은 리젝트(reject)니까 너무 마음 상하지 말고 그냥 계속 밀어 넣어봐"라고 말을 할 정도입니다.
그래서 많은 대학원생들이 논문을 씁니다. 남이 쓰니까 나도 쓰는 사람도 있고, 여기저기 후비고 다니다 쌈빡한 걸 찾아서 중간경과를 공유하기 위해 논문을 닦는 사람도 있습니다. 그리고 꾸역꾸역 학술지에 밀어 넣는 것이죠. 언젠간 누군가가 내 연구의 진가(?)를 알아주겠지 하며.
그래서 저도 논문을 씁니다. 지금 제 파이프라인에 있는 글은 총 세편이랍니다:
1) 박사논문 (리서치 제안 단계)
2) 동료검토 학술지 논문 (워크숍 단계)
3) 학술 블로그 한편 (수정 후 다시 제출 완료)
그리고 오늘 주제가 될 글은 2번, 지금 쓰진 못하고 가끔씩 물끄러미 들여다만 보는 학술지 논문 원고입니다.
태초에 통계적으로 유의미한 결과값이 있었다
제 경우는 박사과정 1년 차에 코스워크를 하다가 겸사겸사 쓴 페이퍼를 학술지로 다시 썼습니다. 리서치 페이퍼를 써내라는 교수님의 지시에 대애충 최근에 배운 R 코드*도 돌릴 겸, 어느 정도 머릿속에 어떤 결과가 나올지 싸이즈도 나오는 데이터는 어떤 게 있을까 고민했었습니다.
*사회과학 분야에서 SPSS, STATA, Python 등과 함께 제일 많이 쓰이는 데이터 분석 코딩 언어 중 하나입니다. 많이 쓰는 이유는 별거 없고... 그냥 공짜라서(...) 많이들 씁니다
그러다 찾은 게 바로 대한민국의 진실과 화해를 위한 과거사 정리 위원회. 여기서 발굴한 한국전쟁기 민간인 학살을 몽땅 데이터화 해서 전후 정치지형에 비교하면 어떨까?** 하는 생각이 들어 나온 보고서를 처음부터 끝까지 정독하며 데이터를 기입하기 시작했답니다. 어디에서 누가 얼마나 죽었고, 그중 확인 가능한 사람은 몇 명이고, 어느 지역에 몇 회의 학살이 보고되었고 등등.
**이미 비슷한 연구(JY Hong and WC Kang 2017)가 더 자세한 데이터셋을 활용해 완료된 바 있었기 때문에 그 결과를 재연해 또 다른 각도로 보고 싶었던 이유도 있었습니다.
몇주 간 밤을 새다시피 해서 데이터셋을 만들었으니 이제 통계분석을 할 차례입니다. 이제는 더 진보한 분석방법도 많지만 저는 레트로 감성(?)이라 업계에서 오랫동안 사랑을 받아 온 선형 회귀 분석(OLS linear regression)을 썼습니다. 12시가 넘은 그때까지 독서실에서 공부 할당량과 용쟁호투를 벌이고 있는 학우들과 모여 대충 프롬프트에 분석 코드를 또도독 쳐봅니다.
'hypothesis1<-lm(a~b+c+d+e+f, data=data_final)'
'summary(hypothesis1)'
결과가 뜨자 저를 포함, 제 모니터를 쳐다보는 친구들 입에서 "오오오" 하는 소리가 나옵니다. 학계에서 통계적으로 유의미하다고 여기는 p <0.05 수준은 아니지만, p <0.05에 몹시 가까운 수치, 즉 사실상 유의하다고 볼 만한 결과가 나온 것입니다. 간단히 설명하자면 제가 찾아낸 통계적 결과가 우연일 가능성이 굉장히 희박하다는 뜻입니다. "야 이거 N (코스 지도 교수님 이름) 보여줘야겠다" 한 친구가 팀빗을 씹으며 얘기했습니다.
몇 시간 후, 해가 뜨자마자 노트북을 들고 교수님 사무실에 찾아갔습니다. 조심스레 문을 열고 채점 삼매경인 교수님의 이름을 나직이 부릅니다.
"N 교수님? N 교수님?"
"넹 들어오세요"
"다름이 아니라 제가 R을 돌려서 이런 게 나왔습니다만..."
"넹 뭐가 나왔나 봅시다"
제 노트북을 뺏어다 데이터 분석의 결과를 본 교수님 얼굴에 화색이 돕니다. 길을 잃은 대학원생을 지도하겠노라 바퀴 달린 의자를 발꿈치로 끌어 강림하신 교수님의 목소리가 약간씩 떨리기 시작합니다.
"이거 만두박사 당신 박사논문 주제인가요?"
"아뇨 꼭 그런 건 아닌데요 (제 박사논문 주제는 그때부터 미얀마였습니다)"
"일단은 과제니까, 일단 대충 쓰고. 나중에 이거 출판해봐요"
제가 제출하고 몇주 후 교수님이 돌려주신 과제 피드백엔 잘 썼니 못 썼니보단 추가 연구과제와 학술지 출판을 위해 선행해야 할 여러 가지 포인트가 빨간색으로 빼곡히 적혀있었습니다. 나중에 듣고 보니 1학년이 통계적으로 유의미한 수준의 데이터셋을 만들고, 그 데이터셋을 해석하기 위해 제가 들이부은 만큼의 자료를 쓰는게 그렇게 흔한 일이 아니랍니다.
흐흐 칭찬 들었습니다. 칭찬을 양분 삼아 그 후 몇 달동안 논문을 쓰기 시작했답니다.
대학원생들을 방 하나에 몰아넣고 논문을 던져주면...
낮엔 학부 애기들을 가르치고, 야심한 밤에 형광등을 벗 삼아 아주 열심히 썼습니다. 학술지는 보통 8000-10000자 사이의 분량을 제출합니다. 제가 제출한 과제 페이퍼는 그 분량의 절반이 조금넘는 분량이었고, 간단히 실험주제, 실험방법, 실험 결과 해석 방향만 잡았었기 때문에 보완해야 할 부분이 퍽 많았었습니다. 제가 결과를 해석하는 방법이 타당한지 다시 확인하기 위해 더 많은 자료를 찾으러 작년 12월엔 미얀마 갔다 돌아오는 길에 국가기록원에 방문하기도 했습니다.
국가기록원 전경. 왠지 내부에선 사진 찍으면 혼날 거 같아서;; 12월의 판교는 정말 너무 추워요...그리고 학부 내 독재정 연구 워크숍에서 제가 쓰는 논문을 워크숍 돌리지 않겠냐 물어왔습니다 (위에 팀빗 씹던 친구가 운영하는 워크숍입니다 ㅎ_ㅎ). 워크숍은 어떤 논문의 원고를 모두 읽고, 논문 속에서 논리적인 연결이 조금 약하거나, 아니면 사용한 데이터나 근거의 신빙성 등을 하나하나 짚어주는 과정입니다. 글이 공개되기 전에 먼저 다듬어야 할 논리와 근거를 찾아내는 효과가 있기 때문에 보통 논문을 학술지에 정식 투고를 하기 전 몇 번의 워크숍을 거쳐 글을 다듬게 된답니다.
자 이제 워크숍의 날이 밝았습니다. 피자를 시켜놓고 기다려 보니 생각보다 많은 사람들이 제 논문 원고를 읽었는지 N 교수님 및 학우 열댓 명 남짓이 방을 가득 채웠습니다. 너무 많은 사람들이 와 버려서 제가 얘기할 시간도 한껏 자르고 비평을 시작합니다. 비평을 시작하기 전 제가 호기롭게 한마디 요청을 했습니다:
"좋은 얘기보다는, 고쳐야 할 점을 중점적으로 얘기해 주세요"
그때는 몰랐습니다. 제가 얼마나 미친놈이었는지.
워크숍을 하기 전 "올 ㅋ 워크숍 하는거야?" 하며 여러 교수님들이 알려주신 딱 세 개의 팁이 있었습니다. 워크숍 도중 호랑이한테 물려가도 이 세 개만 기억하고 있으면 나중에 이불킥할 일이 없다고 합니다. 그 팁인즉슨:
똑똑한 사람들을 한 곳에 몰아넣고 논문을 던져주면 그 논문을 뼈째로 물어뜯는다.
여기선 대학원생을 지칭하는 이른바 '똑똑한 사람들'은 워낙 분석과 비평에 능해 뭔가를 눈 앞에 놔주면 뜯고 씹느라 정신을 못 차린답니다(...) 그래서 물고 뜯는걸 너무 마음 상해하지 말고, 얼굴에 철판을 딱 깔고 그 비평의 과정을 즐기는 것이 중요하다고 합니다.
애초에 비판이라는 것이 뭔가가 너무 뭣 같다는 생각보다 몇몇 부분을 고치면 더 좋아 보이겠다는 마음을 표현하는 방법이고, 또 비판을 하는 사람들은 제가 쓴 글을 자세히 읽어줬다는 뜻이니까요.
논문의 퀄리티와 사람들의 관심은 정비례한다
왜 어떤 연예인이 말했던가, 무관심이 제일 마음 아프다고 했었죠? 학자들도 똑같이 제일 마음 아픈 건 날 선 비판이 아니라, 학술지에 기고를 하고 학술회에 발표를 해도 돌아오는 피드백이 없는 무관심이 제일 고통스럽다고 합니다. 자기가 아무리 열심히 공부를 하고 발표를 해도, 자기가 하는 공부는 어쩌면 사람들이 읽을 이유를 찾지 못하는 그저 그런 공부구나-하는 마음이 든다고 합니다.
그렇기 때문에 그 관심이 긍정적이던, 부정적이던, 관심의 총량이 논문의 퀄리티와 정비례한다는 말을 자주 해 줍니다. (물론 논문 주장이 정말 너무 반사회적이어서 작심하고 비판을 하는 등 다 그런 건 아닙니다) 그래서 대학원생 라운지에 널브러져 있으면 "X가 내 논문을 인용했어!" 또는 "누구누구가 내 주장이 완전 헛소리래! 내 논문을 읽었다는 거잖아!"식의 자랑을 아주 가끔씩 들을 수 있습니다. 그 평가야 어쨌든 자기가 연구한 결과와 주장을 누군가가 진지하게 읽어줬다는 뜻이니까요.
좋은 얘기도 해 달라고 해라
좋은 얘기 안 해주면 마음이 많이 아프대요. 날 서 비판과 함께 칭찬할 점도 같이 말해주십사- 요청하는 게 비판을 검토해야 하는 본인 정신건강에 좋다고 합니다. 그렇지 않으면 "정말 내가 한 게 다 똥인가?" 란 생각밖에 안 든다면서요.
이 세 가지를 기억하지 못하면 큰 내상을 입는다고 합니다. 어느 한 교수님은 박사 디펜스 세미나에서 눈물을 뚝뚝 흘리는 박사생들도 숱이 봤다고 합니다. 교수님들도 책을 다 쓴 후 책을 학부 워크숍에 내놨다가 우박처럼 쏟아지는 비판에 마음의 상처(?)를 입는 분들이 종종 있답니다.
저는 위 팁에서 첫 번째, 두 번째는 잘 알고 있고 마음의 준비를 했지만, 세 번째 팁을 잊어버린 채 호탕하게 "거 시간 없으니 비판만 딱딱 하고 갑시다!"라고 질러버린 겁니다. 하이에나 떼 앞에 선 가젤 새끼가 돼버렸습니다.
자리에 모인 학우들이 서로 차례대로 논문을 비평하기 시작합니다. 한 사람이 한 마디씩만 해도 비판이 열댓 개. 그것도 시시콜콜한 비판이 아니라 한마디 한마디 아주 날카롭게 원고의 문제점을 파고듭니다. 세계 각국에서 온 학우들이 이승만 정권 당시 정치 판세에 이리 빠삭할 수 있을지 그땐 몰랐습니다. 제가 날밤을 연짱으로 새 가며 모은 통계 데이터에도 매우 날카로운 비판이 쏟아졌습니다. 처음부터 다시 다 해야 할 수준입니다. 다 너무 좋고 타당한 비판이라 거를 게 없어 받아적느라 정신이 하나도 없었습니다.
정신 차려보니 한 친구가 제 처음 워크숍이니 길이 기념하자며 단체사진을 찍어준 후 (정작 저한테는 사진 안 줬습니다. 왜 찍은 거지...?) 모두 뿔뿔이 흩어졌습니다.
워크숍을 끝낸 후의 제 모습을 뭉크가 100년 전에 어떻게 봤는지 이렇게 정확하게 그려냈네요.워크숍은 끝났고, 제 논문의 주장과 데이터는 날카로운 비판에 뜯겨 있었습니다. 너무 재밌는 경험이었고, 많은 사람들이 내가 쓴 글에 이렇게 관심이 많구나, 생각이 들어 감사한 마음이 들었습니다만... 그래도, 하, 좋은 말도 해 달라고 할걸, 비판만 한 트럭분으로 들으니 기분이 좋으면서도 마음 한편이 약간 싸했답니다. 열심히 했는데 아직 부족한 부분이 많구나- 하는 생각도 많이 들었고요. 친구들과 저녁식사를 하고 독서실에 도착하니 이미 N 교수님한테서 이메일이 와 있었습니다:
"만두박사, 원래 똑똑한 사람들을 방에 몰아넣고 논문을 던져주면 뼈째로 뜯어먹잖아? 너무 개념치 말아요. 워크숍에서 나온 비평 중 내가 좋았다고 생각한 것은 아래와 같아요 - "
아무리 제 요청이었다지만 그래도 한 시간 반 동안 비판만 우수수 쏟아진 점이 못내 마음에 걸리셨나 봅니다. 그래도 제 학우들은 모두 좋은 사람들이라 나중 가선 많은 친구들이 참 잘 읽었다고, 연구 디자인이 참 좋았고, 찾아낸 결과가 여러 사례에 적용할만한 것 같다 등등의 좋은 얘기를 많이 해 주었답니다. 잘 읽었다니 참 다행이죠?
낱낱이 뜯어진 원고를 다시 수습하는 건 저자의 몫
하지만 좋은 말과는 별개로, 낱낱이 뜯어진 논문 원고를 다시 이어 붙이는 작업은 온전히 저자의 몫입니다. 비평을 접착제 삼아 워크숍에서 뜯어 헤쳐진 논문 원고를 한 땀 한 땀 이어 붙여야 합니다. 다음 워크숍에선 좀 덜 뜯길 수 있게 말이죠. 논문을 계속 쓸 용기를 내는 것도, 그리고 다음 워크숍을 찾아 헤매는 일도 모두 저자 혼자 해내야 하는 일입니다. 이 지점에 도달하면 논문 원고가 그냥 "desk-drawered," 즉 서랍에 처박힌 듯 하드 디스크 어딘가에서 영면하는 경우가 많다고 합니다. 저는 운이 좋게도 주변에 계속 제 연구를 지켜봐 주고 얼른 하라고 닥달하는 학우들이 있으니 너무 큰 슬럼프 없이 계속 작업을 이어나갈 수 있었습니다.
이제 다음 단계는 학부 워크숍을 지나, 학술대회 워크숍입니다. 함께 공부하는 학우들 말에 의하면, 학교 내 워크숍을 했으니 이제 학술대회에서 지금껏 연구 조사한 내용을 더 다듬어 발표해 보라고 합니다. 정치학에 발 담은 사람들이 모이는 곳에 발표를 하면 좋은 피드백을 아주 많이 받는다면서요.
그래서 올해 9월 미국 샌프란시스코에서 열리는 미국 정치학회(APSA) 학술회에서 작게나마 포스터 발표를 하게 되었습니다. 도출된 결과값을 해석하기 위한 제 방법론에 대해 최대한 많은 사람들에게 보이고 의견을 얻을 절호의 기회!
학술회를 원격회의로 돌린다는 내용입니다.