다른 방법론을 사용한다는 것
심리적 거리를 줄이기 위한 제안
나는 통계학을 활용하여 독립변수가 종속변수에 영향을 미치는가를 보여주는 양적 방법론 연구자이다. 주로 연구 질문을 만드는 방법은 종속변수를 중심으로 접근하는 것이다. 기존의 이론이 설명하지 못하는 특이한 종속변수가 있다면, 그 "종속변수(사건)가 어떻게 발생하게 되었는가"를 주요한 질문으로 잡는다. 혹은 기존의 연구를 살펴보았을 때, 여러 변수들 간에 관계를 살펴보고 기존 문헌이 설명하지 못한 독립변수와 종속변수의 관계를 지적하며 질문을 짜게 된다. 종속변수가 발생한 이유에 대해 가설을 제시하고 독립변수가 무엇이라 주장하게 되는데, 일반적인 문장으로 짜는 경우가 많다. "A가 증가하면, B가 증가한다"와 같은 단순한 문장이 많다. 이런 단순한 문장이 설명력이 높을수록 좋은 가설이 된다.
통계학의 수식을 통해 독립변수가 종속변수에 미치는 영향을 보이는 것이어서, 각 변수를 잘 측정하는 것이 중요하다. 독립변수가 종속변수에 어떤 영향을 미치는가에 대한 이유를 논문에 자세히 서술하면서, 예측 모델에 어떤 측정을 넣느냐에 따라서 결과가 달라질 수도 있기 때문이다. 예컨대, 정치 제도의 구분을 변수로 입력한다고 할 때도 여러 방법이 있을 수 있다. 민주주의가 특정 종속변수에 어떤 영향을 미친다고 가정하자. 민주주의를 측정하는 방법에는, 민주주의 국가이면 1, 아니면 0으로 단순히 입력할 수도 있다. 혹은 Freedom House, Variety of Democracy, Polity-5 등의 데이터셋을 사용할 수 있다. 각 데이터셋은 민주주의의 정도를 지수화(index) 한 것도 있기 때문이다. 기존의 연구에서 많이 사용하는 변수를 사용한다면 좀 더 설득력 있는 논문 작성을 하고 학계의 토론에 뛰어들 수 있을 것이다. 각 변수별로 측정 방법이 다르기 때문에 대부분의 학자들은 모든 데이터를 각각 활용하여도 본인의 가설의 결과를 보인다는 점을 동시에 보이기도 한다. 이러한 작업은 시간도 많이 걸리고 데이터 분석에 대한 엄밀함을 요한다.
이렇게 통계학을 활용한 설명은 주로 일반화에 쓰인다. 어떤 변수가 어떻게 측정된다는 전제에서 독립변수로 상정된 것이 종속변수로 상정된 것에 어떤 영향을 미치는가를 보는 것이다. 그래서 질적 연구를 수행하는 연구자의 경우, 이렇게 측정된 변수들의 맥락이 모두 무시되거나 소거될 수 있다고 주장한다. 어느 개념이란 한 변수만으로 측정되기 어렵기 때문이다. 그래서 양적 연구자들도 변수를 이렇게도 측정해 보고, 저렇게도 측정해서 모두 자신의 가설에 맞는 결과를 보이고 싶어 한다. 좋은 저널에서도 만약 가설이 타당하고 그렇게 보일 필요가 있다면 요구하기도 한다. 나도 2022년에 해외 학술지에서 출판한 논문에서, 종속변수의 종류도 바꾸고, 독립변수도 여러 가지로 보이는 강건성(robustness) 테스트를 수행하였다. 그렇게 바꾸었을 때도 통계적인 유의미성이 비슷하게 혹은 동일하게 보이는가가 중요하기 때문이다.
내가 이해한 양적 연구는 이런 일반화에 비해서 특수성에 대한 설명에 집중하는 경향이 있다. 물론 모두가 그런 것은 아니다. 물론 어떠한 현상이 어떻게 나타났는가를 설명하고자 하는 목적은 같지만 연구의 방법이 좀 다르다. 내가 통계학을 통해서 보인다면, 질적 방법론 연구자들은 직접 가서 연구 대상을 관찰한다. 연구를 하고자 하는 대상이 있는 지역에 1년 이상 거주하면서 살펴보기도 한다. 양적 방법론 연구자들도 물론 해당 나라에 가서 실제로 그들의 가설이 벌어지는지 확인하기도 한다. 질적 연구자들의 정의는 통계학에 들어가는 것처럼 수리적이지 않을 가능성이 크고, 대신 세밀하고 구체적인 맥락을 담는다.
너무 단순히 일반화하는 위험이 있지만, 가장 큰 차이는 결국 일반화와 특수성의 차이에 있다. 고급스러운 문장으로 넣으면 그렇지만, 서로를 바라보는 눈이 달라지는 것이다. 일반화의 장점은 맥락에 상관없이 국가를 가로질러 어떤 독립변수가 종속변수에 어떤 영향을 미치는가를 볼 수 있다는 것이다. 특수성의 장점은 어느 국가의 특수함에서 독립변수가 종속변수에 어떤 영향을 미치는가를 확인할 수 있다는 것이다. 결국 일반화를 중시하는 연구자는, "특수성만 강조해서 그게 무슨 의미지?"라는 의문을 가질 것이고, 특수성을 중시하는 연구자는 "맥락도 모르고 저렇게 이야기하면 이상한 소리를 하게 되는 거 아닌가? 내가 설명하려고 하는 걸 전혀 설명하지 못하는 걸?"이라고 생각할 수 있다. 심리적 거리가 생긴다.
일반화와 특수성의 토론도 있지만, 하나 더는 바로 존재 가능성(possibility)과 확률(probability)의 차이에 대한 토론도 있다. 질적 연구에서는 개념화를 바탕으로 설명하고자 하는 대상이 있을 수 있다는 설명을 제시한다. 그런 가능성을 인터뷰를 통해서 입증하는 것이다. 양적 연구에서는 확률을 중요하게 생각한다. 변수를 이렇게 측정하여 상관관계를 확인하고, 이러한 상황에서 이러한 변수가 종속변수에 어떤 확률을 미칠 것인가를 분석한다. 그렇게 가설을 입증한다. 둘의 관점은 분명 다르다. 존재 가능성은 그 자체가 있을 수도, 없을 수도의 여부이고, 확률은 이미 존재한다고 가정한 다음, 어떤 것이 더 설득력 있는가를 보는 것이다. 있는가, 없는가의 존재론은 확실히 맥락의 문제이고, 어떤 변수가 어떤 확률로 영향을 미칠까는 존재의 문제보다는 다른 차원이다.
이러한 심리적 거리는 서로에 대한 무시로 이어지거나 대립으로 이어지기도 한다. 물론 어떤 연구자는 이러한 차이에 대해서 다르게 대하기도 한다. 내 주위의 모 교수는 질적 연구를 주로 하는 연구자이다. 그에게 양적 방법론을 활용한 논문의 심사 의뢰가 학술지로부터 들어오게 되면, 질적 방법론 언급은 하지 않는다고 한다. 왜냐하면, 애초에 설명하는 방법도 달라 질적 방법론을 언급하면 심사에 도움이 되지 않는다는 것이다. 그 말을 들으니 맞는 것 같았다. 그러나 서로가 그렇게만 대하지는 않는다. 박사과정에 들어오고 이번에 태국 연구를 하게 되면서 세 번째 학술지 논문의 심사를 기다리고 있다. 앞의 두 번 심사동안 나는 질적 방법론 연구자들로부터의 질문에 부딪히게 되었다.
모두가 위의 모 교수 같을 수는 없지만, 나의 논문에 가장 많이 하는 코멘트는 이런 것이다. "논문은 도전적이고 좋다. 이런 질문을 답하는 것은 필요하다. 그러나 방법론에 대한 고민이 하나도 안 보인다. 이렇게 측정하고 저렇게만 보여주는 게 무슨 의미인지 모르겠다"는 식이다. 처음 이런 코멘트를 들으면 화가 난다. 질적 연구의 논문을 보면 인터뷰 대상자가 적게는 5명에서 많게는 50명까지도 있다. 100명을 인터뷰한 논문도 보았다. 나는 적어도 1000개 이상의 대상자를 바탕으로 통계 모델을 통해 경향을 파악한다. 따지고 보면 개인이 가진 배경을 잘 분배해서 1900명 정도의 경향을 파악하는 게 더 낫지 않는가? 코멘트를 받으면 화가 나서 잠이 오지 않는다. 심리적 거리는 더 멀어진다.
최대한 보여줄 수 있는 것을 보강하여 보낸다. 나는 태국에 직접 다녀오기도 하였고, 나의 통계 분석이 실제로 확인되는지 인터뷰도 하고 왔다. 다만, 양적 방법론 연구자들처럼 미리 연구윤리에 대한 심사를 받지도 않았고 따라서 연구에 사용할 수도 없다. 그리고 그렇게 몇몇을 인터뷰한다고 해서 그것을 바탕으로 일반화를 할 수 있는 것도 아니다. 그들을 통해 가설을 만들고 통계 모델을 통해 경향을 제시하는 것이 양적 방법론 연구자들의 가설 논증 방법이다. 한계라면 결국 직접 인터뷰 결과를 논문에 보일 수 없다는 것이다. 그래서 나는 논문에 그것이 한계라고 적는다. 내가 할 수 있는 방법은 그것뿐이다. 그러나 그렇게 보낸 심사답변서에 대한 답은 "게재 불가" 처분이다.
얼마 전에 반대의 사례도 경험했다. 질적 방법론을 통해 연구하는 친구였다. 친구는 나에게 "얼마 전에 학과에서 들은 교수들로부터의 코멘트가 얼마나 자신을 무시하는 것인지 모르겠다"며 화를 냈다. 꼭 자신의 변수가 무조건 측정될 수 있어야 하는 것인가, 그렇게 하지 않아도 보일 수 있는 법은 많은데. 그리고 자신들이 생각하기에 종속변수가 특별하지 않다고 해서 이 연구가 아예 의미가 없는 것인가. 그렇지는 않은데, 이것도 분명 기존 연구에서 설명되지 못한 것이기 때문에 의미가 없는 것은 아닌데. 그때 나는 그냥 화를 끝까지 들어줬다. 분명 연구자로서 앞으로 질적 방법론 연구자들이 가질 수 있는 분노를 들어보고 싶었다.
친구의 논문에 코멘트를 주는 사람들은 대부분 양적 방법론 연구자였다. 혹은 질적, 양적 방법론 둘 다 사용하는 사람들이었다. 친구의 연구 주제는 측정하기도 어려울뿐더러 주로 인터뷰를 통해서 수행되는 연구들이 많았다. 기존의 연구를 따라서 하다 보면 자신의 방법론이 선택되는 경우도 많다. 그런데 양적 방법론 연구자라는 교수들이 자신의 논문을 그 자리에서 대충 읽어보고, 맥락이 너무 자세하고 재미가 없다고 말하다니. 나는 이건 친구에 대한 예의가 없는 것은 맞다고 생각했다. 심하게 말하자면 방법론에 대한 이해가 없는 것일 수도 있다. 박사학위를 받을 때 주로 사용한 방법론이 있고, 그것이 가장 효과적이라고 생각이 들면, 거기에만 갇혀서 사는 연구자들도 분명히 있다. 사실 대부분이 그럴 것이다.
결국 방법론 사이의 심리적 간극을 좁히는 방법은, 질적 연구하는 사람들을 직접 만나도 보고 이야기도 해보는 것이다. 아니라면 질적/양적 방법론 사이의 차이점을 설명하는 과학철학 책을 읽어보는 것이다. 유행하는 방법론을 해야 학계에서 논문을 빨리 쓸 수 있는 것도 맞지만, 동시에 방법론은 연구 대상에 따라서 맞는 것을 잘 선택하는 것도 중요하다. 양적 방법론을 사용한다면 어떤 연구는 할 수 없을 수도 있다. 석사과정이나 박사과정에서 이를 모두 다루는 수업을 들으면 좋겠지만 쉽지는 않을 것이다. 늦었다고 생각하더라도 부지런함이 필요하다. 저 연구자가 왜 저런 방법론을 선택했을까, 그리고 그러한 방법론을 통해 자신의 주장을 잘 입증하고 있는가. 이 점을 바라봐줄 수 있어야 상대방의 논문에 같이 고민할 수 있다. 부지런함이 필요하다.
