사회과학 지식의 탄생: 별을 쫓아서
양적 연구방법론과 통계학, 그리고 못다한 이야기들
사회과학 연구는 어떻게 하는 것일까? 연구하는 방법을 양적인 방법과 질적인 방법으로 나눠본다면, 지금부터 다룰 얘기는 양적 연구방법론과 관련된 얘기다. 많은 연구자들은 연구 방법이 곧 ‘통계’라고 생각하지만, 사실 사회과학이 연구방법론으로써 그것을 차용한 것은 사회과학이 사회현상을 연구하기 위해 전수조사를 실시하는 것이 불가능에 가깝기 때문에 그 대신 표본을 수집하기 때문이다. 즉, 사회과학에서 통계학을 적용한 양적 연구란 '연구가설을 기반으로 표집된 표본의 통계치를 이용해 모수치를 추정하여 사회현상을 설명'하고자 하는 일련의 과정이다.
보통 여기까지 얘기하면 안타깝게도 절반 정도는 이해를 포기한다. 통계학은 어렵기 때문이다. 이제 사회과학분야에 다양하고 화려한 분석기법들이 전파됨에 따라서, 기초통계학만 잘 익혀도 충분했던 시대는 이미 한참 전에 지났다. 불과 20여년 전 논문들만 살펴보아도, 통계학 개론만 착실히 익혀도 연구방법론을 익히는데 문제가 없는 연구들 주를 이루었다면, 이제는 후발주자가 따라가기 힘들 정도로 화려한 방법론을 적용한 논문들의 홍수 속에서 우리는 살고 있다. 시계열 분석모형, 구조방정식 모형, 베이지안 모델링, 텍스트 모델링, 네트워크 분석모형부터 기계학습과 딥러닝에 이르기까지, 연구를 수행하기 위해 연구방법론을 더 많이 공부해야하는 ‘배보다 배꼽이 더 큰’ 시대가 되었다.
심지어 이런 다양한 기법 중, 내 전공분야에서 사용될 만한 방법론 중 1~2개만이라도 작동 원리와 이론까지 제대로 익히려면, 수리통계학과 및 컴퓨터과학 전공 수업 몇 개는 너끈히 이해할 수 있어야 하며, 필요에 따라서 최적화와 같은 주제는 오직 이해만을 위해 대학원 수준의 수업을 들어야만 한다. 그 뿐인가? 이를 활용하여 내 가설을 반영한 모형을 만들고, 데이터를 모아서 실제 분석으로 구현하려면 특정 분석 프로그램 사용법까지 익혀야 한다. 이런 프로그램은 보통 명령문 작성을 위한 문법을 따로 익힐 것을 요구하며, 몇 년전부터 유행을 타기 시작한 R은 조악하나마 프로그래밍 스킬까지 요구한다. R의 오픈 소스 라이브러리의 기능과 성능이 부족하다면, 프로그래밍 언어(파이썬, 자바, C)를 정식으로 탐독해야 한다. 가만히 따져 보니 졸업연구를 진행하고 대학원을 졸업한다는 것은 기적에 가까운 일이다. 그러므로 주변에 사회과학전공 대학원생 누군가가 고통받고 있는 모습을 목격한다면 심심한 위로를 건네주도록 하는 것이 좋겠다.
이는 기존 연구결과의 누적과 더불어 다양한 분야의 상호 융합에 따른 필연적 결과인 것이다. 덕분에, 신진 연구자가 연구방법론을 익히기 위해 갖춰야 할 덕목들을 엄청나게 많아졌다. 새로운 연구를 위해 방법론에서 차별성을 만들어야할 만한 이유가 늘어난 것이다. 다원화된 사회에서 다양한 변인을 효과적으로 통제하고 연구하고자 하는 변인을 통합적으로 탐구하기 위해 방법론적 엄밀성이 요구될 뿐만 아니라, 예전에는 연구대상이라고 생각하지 않았던 다양한 성격의 자료들을 재료로 활용(이미지, 텍스트 등)하고자 하는 시도들이 늘었다. 이를 뒷받침하는 환경적인 변화를 또한 있었다. 수리통계학의 이론적인 발전과, 베이지안 모델링 등을 위한 간편한 프로그래밍 툴이 보급되었고, 대용량자료 처리를 위한 각종 하드웨어들이 이전과는 비교도 안 되는 성능으로 저렴하게 출시된 것이다.
이러한 변화는 후발주자들에게 엄청난 부담으로 다가올 수밖에 없고, 진입장벽은 점점 높아져만 간다. 석사과정 신입생이 이를 감당하려면 - 게다가 지도교수가 이러한 트렌드에 둔감한 사람이라면 - 난관에 부딪힐 수밖에 없고, 방향을 잃고 방황하다가 연구에 흥미를 잃기 십상이다. 특히 사회과학 전공자들의 특성상 대부분의 인문사회계 학생들은 수학과 통계학에 대한 막연한 두려움 곧 심리적 장벽으로 작용한다.
요리책(cook-book)의 시대: 3분 통계
그래서 이런 사람들을 위해, “통계 분석”을 위한 요리책(cook-book)들이 등장했다. 기초적인 이론에 기반해서 심도있는 이해로 나아가는 정도를 걷는 것이 아니라, 특정 분석 프로그램(예: SPSS)을 돌리는 법을 알려주고 그것이 산출해낸 숫자를 해석하는 데 치중하는 단기속성 쪽집게 과외 도서이다. 여기에는 필연적으로 문제점이 따르는데, 연구방법론에 대한 이해가 선행되지 않은 ‘숫자’에 대한 단편적인 해석에 그치게 되는 것이다. 특히나 이런 책들은 완전무결하지 않으며, 초보 독자로 하여금 오해를 불러일으킬만한 문장들을 포함하고 있다. 이러한 책들을 잘못 이해하면 모형의 남용(abusing)을 막을 수 없다.
“기초적인 연구방법론의 이론은 싫지만, 그럼에도 불구하고 연구는 해야겠다”는 아이러니한 욕망은 숫자에 대한 기계적인 해석에 천착하게 만든다. 거의 모든 모형의 추정 결과는 연구자의 풍부한 해석과 다양한 측면을 고려한 의사결정을 요구함에도 불구하고, 기초가 부족한 이들은 이러한 요리책의 권위에 기대어 모든 결과를 해석하고 싶어한다. 그래서 이들의 관심사는 궁극적으로 “그래서 유의미하다는 거야, 아니라는거야?”라는 놀랍도록 일차원적인 질문으로 수렴한다. 모형을 이해하고 의사결정을 내리는 것이 아니라, 프로그램이 산출한 별의 존재 여부만이 중요한 것이다.
이는 비단 이제 막 연구의 맛을 보기 시작한 초보 대학원생의 이야기가 아니다. 이런 경향성은 학계 널리 퍼져있으며, 유명대학 교수가 제자의 분석 결과를 보고 두 변인간의 상관계수가 유의미하지 않았다고 해서 “두 변인은 상관이 전혀 없다”고 결론내리거나, “t-test를 하면 되지 뭐하러 회귀모형 쓰나?” 라고 일갈했다거나, 결과가 마음에 들지 않는다고 해서 “그럼 데이터 중에 이상한 애들을 전부 다 없애봐” 라고 했다는 일화들은 더 이상 놀랍지 않다.
흥미로운 점은, 이들도 본인들이 “통계적인 이해”가 부족하다는 점을 인지하고 있다는 점이다. 사실, 이들에게 부족한 것은 통계지식 뿐만 아니라 “연구방법론”에 대한 지식 전반에 대한 것임에도 불구하고, 이들은 그저 “통계”를 잘하면 모든 것이 해결될 것이라 믿는다. 이런 자격지심은 시간이 지날수록 이들을 양가적인 행태에 빠뜨린다.
첫 번째는 어려운 연구방법론에 대한 막연한 반감을 갖는 것이다. 이해할 수 없는 어려운 기법은 ‘숫자 장난’으로 치부하며, 본인이 가장 잘 알고 있었던 과거의 낡은 방법론을 학문적 전통으로 신봉하여, 거의 동일한 모형에 서로 다른 이름을 붙이고 인접분야 전공자나 타전공자의 관점에서 다소 무의미한 논쟁을 일삼는 경우이다.
두 번째는 이와 정반대로, 본인의 허점을 감추기 위해 가설에 관계없이 본인이 알고 있는 모든 통계적인 방법론을 총동원해 불필요한 분석을 모두 진행하는 것이다. 분석의 질이 아닌 분석의 양으로 승부하기 위한 이들의 노력은, 평균비교의 전통부터 최신 기법에 이르기까지 연구방법론 발전의 역사를 본인의 연구 안에서 모두 보이려는 원대한 방향으로 나아간다.
두 가지 모두 문제가 있다. 전자처럼 발전된 연구방법론을 제대로 적용하지 못할 경우, 수집된 자료를 충분히 활용하지 못할 뿐더러 분석의 깊이가 얕아진다는 단점이 있다. 하지만 후자는 이보다 더 안 좋다. 이들은 보통 불필요한 분석을 진행하여 마치 “비일관적인 결과”가 나온 것처럼 잘못된 결론을 내리거나, 원래 가설에 맞는 결과만을 취사선택하고 나머지 분석결과는 모두 폐기하기 때문이다.
그러므로, 모든 연구자는 좋은 연구를 위해 자신이 완전히 이해하면서 자유자재로 본인의 가설을 반영할 수 있는 적당한 방법론을 차용해야 하며, 항상 새로운 연구방법론을 익히려고 노력해야한다. 제대로 이해하지 못한 복잡한 모형을 잘못 사용하는 것보다는, 잘 알고 있는 모형을 사용하는 것이 나으며, 항상 더 좋은 연구를 위해 좀 더 정제된 방법론을 사용할 준비가 되어있어야 한다. 타당한 근거없이 가설을 주장하는 것은 누구나 가능하지만, 정제된 방법론을 통해 그것을 증명하여 일반적인 지식으로 만들고자 하는 노력이 연구자의 업이기 때문이다.
이상과 현실의 온도차
하지만 이상과 현실은 다르다. 이는 연구자가 평생에 걸쳐 추구해야할 목표일 뿐, 당장 졸업이 급한 사람들은 어떻게 해야할까? 진행 중인 연구를 당장 마무리 해야하는 사람들에게는 너무 가혹한 해결책 아닐까? 세상에는 다양한 동기로 대학원에 진학하는 사람들이 있고, 연구에 대한 흥미보다는 학위가 주는 사회경제적 이득을 위해 진학하는 사람들이 많다. 이들에게 이런 이상적인 태도를 요구하기엔 무리가 있다. 혹은 그렇지 않다 한들, 연구에 관심이 있고 잘하고 싶은 학생이 지도교수가 역량이 부족하거나 동료 중에 조언을 구하기 어려운 경우도 있기 때문에, 이들은 그래서 주변에 ‘통계’를 도와줄 방법론 전공자를 찾게 된다.
문제는 이러한 도움을 요청하는 이들이 보통 가설 수립과 데이터 수집 단계에서부터 논의를 시작하지 않고, 데이터 수집이 다 끝난 상태에서 결과를 뽑아달라며 분석을 도와줄 방법론 전문가를 찾기 시작한다. 안타깝게도 이 단계에서 연구방법론 전공자가 도와줄 수 있는 일은 그리 많지 않다. 기수립된 가설 아래서 그것이 들어맞기만을 기도하며 모형을 구성한 뒤 분석 결과를 보면, 의뢰자가 예상한 대로 결과가 나오지 않는 경우가 더 많은 것은 오히려 당연한 일이다. 그렇기 때문에 가설을 세웠고, 가설을 검증한 뒤 그것이 들어맞지 않았기 때문에 가설을 수정하면서 연구를 진행해야 하지만, 그러나 대부분의 경우 이 단계에서 새로운 가설 수립과 데이터 수집단계로 돌아가는 이는 드물다. 이들에게 있어서 '결과가 나온다'라는 의미는 '본인이 원했던 방향의 결과'를 의미하며, 이들의 마음 속에는 전지전능한 통계 전문가님께서 마법을 부리시어 유의미한 별을 내리시고 졸업 혹은 게재 승인을 선사하실 것이라는 믿음으로 가득차 있다.
옳다고 증명되지 않은 가설, 그에 맞추어 수집되었던 데이터, 이를 둘러싼 '결과가 나오길' 기대하는 의뢰자 사이에서 어떤 결론이 도출될까? 정답은, 가능한 분석을 모두 진행한 다음 결과를 정리하여 의도한 대로 나온 결과만을 싣는 것이다. 만약, 도저히 원하는 방향의 털끝 만큼도 가까운 결과가 나오지 않을 경우, 별을 띄우기 위한 p-해킹(hacking)이 시도된다. 데이터 전처리 과정을 바꾸기도 하고, 여러 방법을 동원해서 어떻게 해서든 조금이라도 원하는 결과가 나오기까지 기나긴 여정을 떠나는 것이다. 이렇게 짜내듯 도출하낸 가설의 통계적 유의미함은, 당연하게도 일반화가능성이 떨어질 것이다.
이런 세태는 어제 오늘 일이 아니다. 특히 2010년대에 들어서면서는 p-값만으로 연구의 흐름이 좌우되는 세태를 고발하는 논문들이 분야를 가리지 않고 방법론, 측정, 평가, 실험설계 관련 저널들에서 봇물 터지듯 쏟아져 나왔으며, 미국통계학회(ASA)에서 아예 p-값의 오남용을 경계할 것을 당부하는 성명서를 발표하기도 했다. 국내 뿐만 아니라 전 세계 널리 퍼져있는 관행은 여전히 지속되고 있으며, 앞으로도 이것이 개선될 것이라고 보기엔 회의적이다.
이렇게 탄생된 논문이 미칠 여파는 자명하다. 방법론 전공자에게 억지 도움을 구한 의뢰자 본인의 논문 실적을 하나 올림으로써, 이를 참고할 이름모를 후배 연구자는 재현(replication)불가 문제에 부딪힐 것이다. 그리고 불쌍한 후배 연구자 한 명은 당황한 나머지 자신의 졸업을 구원해줄 또다른 방법론 전공자를 찾아갈 것이고, 그는 골머리를 싸매고 어떻게든 결과를 뽑기 위해 노력할 것이며, 결과적으로 다시 재현이 불가능한 논문 한편이 탄생할 것이다.
더 나은 연구를 위하여
절이 싫으면 중이 떠나랬지만, 우선 절을 바꿔보려면 가장 먼저 필요한 것은 협업에 대한 개방적인 태도이다. 방법론 전공자에게 도움을 받는 것은 부끄러운 일이 아니며, 데이터 수집이 완료된 뒤에 도움을 구하면 큰 소용이 없다. 대신, 연구의 아이디어를 내는 단계에서부터 방법론 전공자들과 함께 공동 연구를 시작한다면 방법론의 차별성을 쉽게 확보할 수 있으며, 분석가들 또한 그 과정에서 도메인 지식을 함께 내면화하여 더 나은 결과를 제공할 수 있을 것이다.
연구는 즐거운 일이다. 물론 그 과정이 언제나 즐거운 것은 아니지만, 궁금한 것을 데이터를 통해 검증해가며 서로 다른 배경을 가진 동료 연구자들과 함께 아이디어를 발전시킬 수 있다는 점은 분명 매력적인 일임에 틀림없다.
