글은 왜 쓰시는데요?
논문을 쓸 때 주로 통계 기법[1]을 사용합니다. 할 줄 아는 거라곤 그게 전부예요. 가령, “남자의 소득이 여자의 소득보다 많다”라는 가설을 설정하고 수집된 자료에다 통계 기법을 사용하여 이를 검증합니다. 도출된 숫자로 남자의 소득이 많다는 주장을 지지할 수 있다면 논문이 하나 나오는 거죠.
[1] 통계 기법을 활용한 연구를 두고 양적 연구(quantitative research), 계량 분석(quantitative analysis), 혹은 계량경제학(econometrics)적 접근이라고도 합니다.
‘출판 바이어스(publication bias)’라는 말이 있어요. 게재된 논문의 대부분이 ‘통계적으로 유의한(statistically significant)’ 분석 결과를 제시한다는 뜻이라 하더군요[2]. 어떤 논문의 분석 결과가 통계적으로 유의하지 않다면 그 논문은 게재되기 어렵다는 뜻일 겁니다. 통계적 유의성 여부가 저자의 투고 의사를 결정하기 때문이라고는 하지만, ‘학술 저널’이 통계적으로 유의한 결과를 보이는 논문만을 게재토록 하기 때문이라는 게 내 편견입니다[3].
[2] 그렇기 때문에 해당 학계의 연구 주제, 결과 등 경향에 편향(bias)이 존재할 수 있다는 뜻이겠죠.
[3] 연구자들은 게재된 논문만을 접할 것이고 이들이 어떤 저널의 심사위원이 되어 투고된 논문을 심사한다는 점을 생각하면, 그러한 저널의 행태는 출판 바이어스의 결과, 아니면 출판 바이어스 그 자체라 할 수도 있겠습니다.
흥미로운 점은, 통계적으로 유의한 결과를 저자는 ‘만들어낼’ 수 있다는 것입니다. 수식으로 구성된 연구 모형을 바꾸거나, 데이터 중 특정 변수를 다른 형식으로 바꾸거나 하는 식으로 말이죠[4]. 누군가는 이를 두고 ‘마사지한다’고 표현하지만, 나는 이를 두고 ‘조작한다’고 표현합니다.
[4] 가령, 나이 정보 그 자체를 사용했을 때 분석 결과가 통계적으로 유의하지 않게 나타나더라도, 나이를 다시 10대, 20대 등으로 변형해서 사용했을 때 분석 결과는 통계적으로 유의하게 나타날 수 있습니다. 아니면, 나이를 모형에서 제외하거나 나이 이외의 다른 변수를 추가하더라도 분석 결과는 달라질 수 있어요.
상황이 이러할 때, 연구자는 본인의 분석 결과가 통계적으로 유의한 것으로 나타나도록 하기 위하여 연구 모형, 데이터 형식 등을 조작하고 싶은 유혹에서 자유롭지 않은 듯합니다[5]. 그나마 양심 있는 연구자는 “(통계적으로 유의한) 결과가 안 나오니 이번 논문은 그냥 접자”라고 할 테지만[6], 그렇게 말하기까지 적어도 수십 번은 이렇게 저렇게 ‘마사지해’ 보는 것이 현실이에요.
[5] 학술 분야마다 다르겠지만, 게재된 논문의 수는 적지 않은 연구자들에게 실적으로 남기 때문입니다. 또한, 회사에서 연구하는 사람들은 가끔씩 회사의 입장과 그 방향을 같이하는 보고서를 ‘만들어 내야’ 할 때가 있어요. 생각해 보면 그 유혹의 원인은 더 많을 겁니다.
[6] “안 나오니까 접는다”는 말 역시 출판 바이어스라 생각합니다.
불쾌해할 사람들의 얼굴이 떠오르네요. ‘조작’이라는 말이 과하다고 생각할 수 있겠습니다. 하지만, 이렇게 생각해 보세요. 처음 구상한 연구 모형을 통계 기법으로 분석했더니 내가 원하는 결과, 즉 통계적으로 유의한 결과가 나오지 않았어요. 변수 몇 개를 빼서 아니면 더 넣어서 모형을 수정하였더니 원하는 결과가 나왔습니다. 나는 조작한 것일까요? 처음의 모형이 틀렸을 수있는 거 아닐까요? 변수를 빼거나 더 넣음으로써 우리는 진리에 한 걸음 더 가까워진다고 할 수 있지 않을까요? 감히 조작이라 말할 수 있을까요[7]?
[7] 상황을 달리 설정해 볼 수도 있어요. 처음 구상한 연구 모형을 통계 기법으로 분석했더니 통계적으로 유의한 결과가 나왔습니다. “좋았어, 끝났어!” 기분 좋게 전화를 걸어 친구와 술 약속을 잡겠죠. 이를 저널에 투고하고 게재하겠죠. 나는 조작한 게 아닐까요? 처음에 구상한 모형이 진리에 가깝다고 말할 수 있을까요? 어떻게 그렇게 말할 수 있을까요? 너는 이 세상을 모두 아시나요? 안다면 왜 굳이 그리 고된 작업을 수행하셨는지요?
도둑질에도 논리를 갖다 붙인다는 말이 있어요. 실제로 내가 아는 어떤 연구자는 담배꽁초를 길에다 버리면서 이는 일자리를 창출하는 데 일조할 것이라 말하더군요. 바로 옆에 쓰레기통이 있는데도 말이죠. 마뜩잖지만 틀렸다 말하기도 어렵습니다. 화장실을 청소하는 사람이 지금만큼 있는 이유 역시, 사람들이 볼일을 점잖게 보지 않기 때문일 것입니다. “당신의 분석 결과는 조작이야!”라 말하더라도, 내 편견으로는, 적지 않은 연구자들은 아마 이렇게 말하지 않을까 싶어요. 조작인지 아닌지 당신이 어떻게 아냐고. 당신이 세상을 그렇게 잘 아냐고. 조작은 그렇게 정당화됩니다. 아니, 조작은 조작이지 않았던 것마냥 가려집니다.
통계 분석을 공부하면 할수록 그리고 논문에 적용하면 할수록, 네 거든 내 거든 간에, 연구에서 제시하는 통계 분석 결과를 믿을 수 없게 되었습니다. 통계량(즉, 통계 분석 결과)이라는 숫자는 객관적으로 존재하는 게 아니니까 말입니다. 분석에서 도출된 숫자는 언제든 바뀔 수 있고 실제로 바뀌는 경우가 적지 않으며, 그 숫자를 도출케 한 데이터가 아무리 좋은 데이터라 하더라도 온전히 그 사회를 대변하지 않을 수도 있는 것입니다[8].
[8] 좋은 데이터를 구하는 것 자체가 어렵습니다. 연구자는 돈이 없고 시간도 없습니다.
의문스러워요. 연구자들은 왜 계량 연구를 하려 하는 걸까요? 어떤 선배가 말했습니다. 저자가 글을 잘 못 써서 그런 거라고. 글을 못 쓰는 대신 숫자라도 보여주어야 한다는 겁니다. 통계 분석을 쓰지 않고도 공자는 지금의 공자이고 칸트는 지금의 칸트이니, 아주 틀린 말이라 하기도 어렵겠어요. 실제로 내가 졸업한 대학원의 석사 과정 학생들의 학위 논문 중 대부분은 계량 분석을 사용한 논문입니다. 학생은 아직 누군가를 글만으로 설득하기에 스스로가 부족하다고 느끼는가 하면, 교수는 네가 뭘 알겠냐 싶어 그러는지 글만으로 채워진 석사 과정 학생의 논문은 자세히 읽지도 않고 비판합니다[9][10]. ‘신진 연구자’, 즉 주니어 박사가 저널에 논문을 게재하려면 계량 연구로 투고해야 한다고도 하더군요. 말로만 가득 찬 신진 연구자의 논문에 설득될 심사위원이 별로 없다는 뜻인가 봅니다.
[9] 내가 졸업한 대학원을 보고 있자면, 칸트가 김철수라는 가명으로 입학했다 하더라도 김철수라는 놈에게 딴지를 걸 심사위원은 차고 넘칠 것 같습니다. 칸트가 하는 말을 하나하나 이해할 수 있는 사람이 있을지 조차 의심스럽네요. 칸트는 졸업하지 못할 것이라는 게 내 편견입니다.
[10] 박사 학위 논문이라 해서 상황이 크게 다른 것도 아니더군요.
숫자는 거짓말하지 않는다는 말이 있듯, 우리네 사람들은 숫자를 잘 믿는 것 같습니다. ‘남자 성구매 경험 50% 이상’이라는 기사 앞에서, 남자 나쁜 놈이라는 네티즌과, 기자 너는 얼마나 깨끗하냐, 남자가 그럴 수도 있는 거 아니겠냐 하는 네티즌으로 편이 갈립니다. 그 ‘50% 이상’이라는 조사 결과의 신뢰성이나 타당성을 묻는 사람은 많지 않습니다. 누군가는 숫자가 사실을 전달할 뿐이라고 하겠지만, 숫자는 그 이상의 힘을 발휘하는 것 같아요. 누군가의 도전을 두고 ‘나이는 숫자에 불과하다’고 하는 응원은, 오히려 세상 사람들이 나이라는 숫자로 자신이나 다른 사람의 꿈을 쉽사리 재단해 왔음을 반증하는 게 아닐까요[11]?
[11] 나이에 맞게 입고 다녀라, 네가 그기에 끼면 주책이다 하는 말들이 있는 걸 보면 재단되는 건 꿈만이 아닌 것 같아요.
교수 몇몇은 계량 분석을 제대로 공부해야 한다고 합니다. 절대적인 숫자를 도출하여 객관적인 증거를 제공하기 위해서라 말하는 교수가 있는가 하면, 숫자로 ‘사기치는’ 것을, 즉 분석 결과를 조작했는지 알아보기 위해서라 말하는 교수도 있어요[12].
[12] 보통 전자는 계량 분석을 찬성하는 사람이고, 후자는 계량 분석을 회의(懷疑)하는 사람이라 할 수 있어요. 통계 분석 결과가 불변의 진리라 하기 어렵다면, 전자의 태도는 마치 불로초를 찾아 헤매는 진시황의 모습과도 같습니다. 후자의 경우라 하더라도, 조작이냐 아니냐를, 즉 거짓이냐 아니냐를 따진다는 점에서 역시 진시황의 모습이라 할 수 있겠습니다.
그 목적이 무엇이건 간에, 계량 분석을 잘하기 위해서는 수학이나 통계학을 조금이라도 익혀야 해요[13]. 비유하자면, 난수를 아무리 많이 곱하더라도 그 결과에 0을 곱하면 어차피 그 답은 0이라는 것 정도는 아는 느낌으로 말이죠. 하지만, 수학을 주의 깊게 공부하다 보니, 숫자는 과연 절대적인 것인가 하는 질문을 다시 마주하게 되었습니다. 내가 아는 적분 방식은 여러 방식 중 하나에 불과하다는 점을 알게 되었거든요[14].
[13] 물론, 계량 분석을 잘한다는 것은 데이터의 구성만을 보고도 연구 가능성을 가늠할 수 있으며 연구 가설을 설정할 수 있다거나, 본인의 연구 주제를 검증할 수 있도록 자료를 여기저기서 수집하고 이를 결합할 수 있다는 것을 의미한다고 생각해요. 수학이나 통계학에서의 지식을 잘 알고 있다는 게 아니어요. 그래도 조금은 알아야 합니다. 기계공학과 학생이 물리학을 조금이라도(사실 많이) 알아야 하는 것과도 같겠네요.
[14] 또한 원주율 파이(pi)는 3.14가 아니라 그 뒤로 숫자가 무한히 펼쳐진다는 것을 알게 되며, 그 다음의 소수점을 찾아내려는 수학자들이 지금까지도 존재한다는 것 역시 알게 됩니다.
숫자가 불변의 무언가가 아니라면, 통계량을 계산하는 데가 아니라, 독자를 설득할 만한 문장 하나하나를 만들어 내는 데 더욱 많은 열과 성을 기울여야 하는 게 아닐까 하는 생각이 들어요. 안타까운 점은, 짧고 좁은 내 인생에서, 주장을 뒷받침하는 숫자를 제시하기 위해 혹은 이를 잘 이해하기 위해 수학이나 통계학을 공부하라는 연구자는 쉽게 찾아볼 수 있지만, 그 주장을 잘 표현하기 위해 혹은 잘 이해하기 위해 철학하라는, 그러니까 철학적으로 생각하라는 연구자를 찾아 보기는 어렵다는 겁니다. 이러한 불행이 나만의 것일까요?
굳이 학술 연구에 한정하지 않더라도, 무성의하게 쓰인 글은 곳곳에서 찾아볼 수 있습니다[15]. 제 논에 물 대기 식의 말[16] 혹은 이현령비현령 식의 알 수 없는 말도 많아요. 글은 간단하고 명료해야 한다고 학교에서 배웠던 거 같은데, 신문 기사, 정부 문건, 연구 기관 간행물 등에는 ‘산문으로 된 시’ 같은 글이 많습니다[17]. 구체적이고 명확하게 쓰면 구체적이고 명확하게 까이기 때문에, 구체적이고 명확하게 쓰지 말라고 하는 선배를 본 적도 있어요.
[15] ‘혁신 성장’이라는 말이 있지만, 혁신을 입 밖으로 내뱉는 사람들 머릿속에 있는 혁신은 저마다 다른 것 같습니다. 혁신이라는 단어가 학계 혹은 사회마다 다르게 쓰일 수 있다는 점은 인정하지만, 아무렇게나 써도 되는 말은 아니라 믿어요. ‘새로운(新) 혁신(革新)’이라는 말을 보면, ‘오래된 혁신’이라는 말도 있는 건지, 있다면 이는 ‘혁구(革舊)’인 건지, ‘혁구’는 “초심으로 돌아가자”라는 건지 헷갈립니다. 저 사람은 혁신이 무엇인지 고민해 보긴 하였는지 하는 의문에서 벗어나기 어렵습니다.
[16] ‘~이 논란이다’고 말하는 기사는 그게 논란이었으면 하는 기자 혹은 언론사가 작성한 경우가 적지 않은 듯합니다. 한편, 쿠테타를 일으키려 하는 사람도 안보와 정치적 안정을, 쿠테타를 저지하려 하는 사람도 안보와 정치적 안정을 그 이유로 들더군요.
[17] ‘~는 반드시(必) 필요(必要)하다’와 같이, 랩, 시 등에서 볼 법한 문장을 쉽게 찾아볼 수 있습니다. 저도 가끔 그렇게 쓰긴 합니다만.
논문을 영어로 작성할 때는 문법에 맞게 그리고 학술적 용어에 맞게 작성하려고 번역비로 1, 2백만 원 정도는 어렵지 않게 냅니다[18]. 통계 분석 결과를 제시할 때는 통계적 가정이 충족됐는지 확인하기 위해 관련 통계량을 일일이 살피거나 이런 저런 방법으로 검증합니다. 고급 레스토랑에서 포크와 나이프를 이용하는 순서를 지키고 넥타이 색깔을 저마다의 코드에 맞게 성의껏 고릅니다. 그런 사람들이 우리말로 글을 쓸 땐 힘을 빼고 쓰네요.
[18] 이를 순전히 사비로 충당하는 연구자는 흔치 않다는 게 내 편견입니다.
너도 나도 그렇게 쓰는 것 같습니다. 물이 끓은 후 스프를 넣어 라면을 만들어 온 사람 옆에서, 왜 그걸 끓은 후에 넣냐 한다면 그 둘은 싸우기 십상이죠. 한 평생 써 온 방법을 문제삼았으니까요. 글쓰기도 그런 거랑 비슷한 게 아닐까요? 그 주장은 당신이 의도한 대로 해석되기 어렵다거나, 그 문장은 비문이라 무슨 말을 하고자 하는 건지 알 수 없다거나 하는 식으로 문제를 제기하면, “해보자는 거지?” 하는 반응을 보일 거라 기대하는 것은 무리가 아닐 거예요. 라면 끓이는 법에 표준이라는 게 없다 보니 연구자들은 상대의 글을 비판하지도 않습니다. 눈 가리고 아웅 격으로 구체적이지도 명확하지도 않은 글을 제출했더니, 심사위원들로부터 구체적이고 명확하다는 평가가 돌아오기도 했습니다[19].
[19] 심사위원들이 그 글을 읽어 보기나 하였는지 의심스러웠습니다. 한편으로는, 구체적이지도 명확하지도 않으며 더군다나 적실하지도(relevant) 않은 글(가령, 그 어느 것도 제대로 알아보지 않았으면서 글의 끝에서는 알아보았다고 하며 끝나게 되는 ‘~를 알아보자’ 식 블로그와도 같은 글)이라도, 연구 평가 자리에서는 이를 얼마나 그럴듯하게 발표하느냐가 그에 대한 평가를 좌우하기도 합니다. 또 다른 한편으로는 심사위원은 돈을 받고 초청되기 때문에 듣기 좋게 평가해야 다음에 또 초청될 수 있습니다.
좀 배웠다 하는 사람들이 성의 없이 쓴 글을 보면 기분이 좋지 않아요. 숫자를 들이밀면 믿겠거니 하는, 난해하게 쓰면 대충 넘어가겠거니 하는 글 말이에요. 나 역시 그렇게 쓰지 않았다고 말하기 어려울 때가 많습니다. 그런 나를 보면 슬퍼지기도 하네요. 그 글이 어떤 효과를 유발할지 모를 때도 있고, 알기 때문에 이를 의도적으로 이용하기도 합니다[20].
[20] 돈을 준다고 하니까 논리를 만들어 주는 글을 쓰기도 합니다.
문장, 숫자, 그리고 표를 적당히 넣어 소위 ‘와꾸를 살리려는’ 글을 봐도 기분이 좋지 않아요[21]. 형식이 중헌가 본질이 중헌가 하는 질문과 연결될 수도 있겠습니다. 내가 볼 땐 교수의 글을 모두 읽고 이를 고민하며 비판하는 것이 그에 대한 예의이고 존경입니다. 다른 동료들은 교수의 방을 청소하고[22], 교수에게 물을 따르고, 교수가 하는 말을 그대로 받아 적는 것이 예의이고 존경이라 생각하는 것 같아요. 심지어 그렇게 하지 않으면 존경받고 있지 않다 생각하는 교수도 많은 것 같아요. 누군가는 형식을 본질이라, 누군가는 본질을 형식이라 여깁니다[23].
[21] 자세히 보면 “A해야 한다. 왜냐하면 A이기 때문이다” 정도의 문장들입니다. A라고 믿을 만한 숫자를 아래에 당구장 표시로 넣고, 그 아래에 그래프를 그려 넣습니다.
[22] ‘회의를 위한 회의’라는 말이 있어요. 교수가 방을 직접 청소한다고 하니, 연구실 선배들은 교수가 청소하기 편하게 미리 청소하자고 했습니다. ‘청소를 위한 청소’라는 말도 있음을 깨달았죠. ‘네거티브를 위한 네거티브’는 네거티브하기 전에 미리 네거티브함으로써 상대에게 줄 충격을 완화한다는 점에서 존중의 표현이라는 걸 깨달았습니다.
[23] 명절 때 가족이 다함께 모이면 친지들과 만나 인사를 나눌 수 있어 좋다고 합니다. 그렇다면, 왜 평소에 연락하고 지내지 않는지 궁금할 따름입니다.
이렇게 보니, 초콜렛인 듯 초콜렛 껍질인 듯한 ‘아무말’들이 세상만사에 자리하고 있는 듯합니다. 사실 이 모든 것이 책이 될 수 있습니다. 그리고 글감이 됩니다. 그런 의미에서 나는 독후감을 쓰는 심정으로 글을 씁니다. 기분이 살짝 안 좋은 채로 말이죠.
농담하는 글을 쓰고 싶습니다. 지금도 수없이 생산되고 있는, 하지만 조금만 들여다봐도 그 ‘와꾸가 죽어버리는’ 글 속에서, 혹은 다 이유가 있어서 그런 거[24]라는 세상만사 속에서 농담거리를 찾으려 합니다. 이런 것들을 의도적으로 오독하면 꽤나 재밌는 일이 되거든요. 동어반복을 예로 들 수 있겠습니다. 글에 문제를 제기할 때 연구자들은 이렇게 말합니다. “(1) 글 잘 읽었습니다. 1+1이라는 문제를 설정하였고 이를 체계적인 접근을 통해 그 해답을 구하려 하였다는 점에서 본 글은 의미있다고 생각합니다. (2) 다만, 본 글에서 말하듯 1+1=3이 과연 옳은지 의심스럽습니다.” 그 글에서 답을 3으로 제시하였다는 점을 아는 것만으로도 그 글을 글로 인정하고 끝까지 읽었다는 것을 뜻하지 않을까요? (2)라고 말하는 것만으로도 (1)을 의미하는 것 같은데, 연구자들은 그 앞에 (1)을 붙이는 걸 잊지 않습니다. (2)라고 말할 거 같았으면 (1)이라는 말은 무의미해질 것인데도 말이죠. 때로는 (1)과 (2) 사이에 (1)과 같은 것들이 수없이 삽입되기도 합니다. 연구자의 언행에는 꿈처럼 많은 것이 섞여 있는 것 같습니다.
[24] 논문을 게재하려면 어쩔 수 없었어, 회사에서 시키니까 그렇게 한 거야, 딱히 틀렸다 하기도 어렵잖아, 그런 문제는 평생을 바쳐도 해결할 수 없어 등등의 이유 말이죠. 이따위 말을 듣고 있으면, 점점 대화할 사람이 없어지는 기분이 듭니다.
워낙 흔해서 생각해 보지 않은 우리의 언행들이 사실은 바보처럼 보일 수 있다는 것을 글로 써 보려 하는 겁니다. 마치 화장실에서 볼일을 서서 보면 오줌이 알게 모르게 다른 곳으로 튀어 균이 증식한다는 것을 현미경으로 보여주는 것과도 같습니다. 우리네 사람들은 보여주기 전까지는 없는 것처럼 행동하니까요.