예전에 블로그에 임시 저장글로 쓰려고 링크만 남겨둔 기사를 다시 읽을 기회가 생겼다.
[시사저널 기사]
상아탑의 부정·부실 논문은 왜 매년 양산되나 < 사회 < 기사본문 - 시사저널
기사 내용을 3줄로 간략히 요약하면 다음과 같다.
한국 학계에서 매년 많은 수의 부정·부실 논문이 계속해서 드러나고 있다는 문제 제기
연구 윤리 강화 시스템 및 심사·검증 절차의 허점이 논문 품질 저하의 주요 원인으로 지적됨
제도적 개선과 더 엄격한 학계 내부 감시의 필요성이 강조됨
(첫 번째 불릿 포인트에 대해 방법론 전공자 관점에서 자세히 다뤄 보겠다)
연구자라면 지나치기 힘든 꽤나 자극적인 문구인데 보통 연구 부정과 관련해서 이슈가 되는 경우는 보통 고위 공직자들의 청문회에서 이슈가 되곤 한다.
나름 세상 돌아가는 걸 그래도 알고는 살아야 한다고 매일 뉴스를 빠르게라도 스키밍하는 필자 입장에서 최근 5년 간 뉴스에서 접한 연구 부정 관련 이슈들은 대략 아래 정도인 것 같다.
영부인의 졸업 논문 표절
AI로 유리한 심사 결과를 이끌어 내기 위한 숨겨진 프롬프트 삽입
윤OO 강사의 '보이루' 논문 철회
이에 비해 위 기사에서 지적한 부실 논문 양산에 대해서는 사실 크게 이슈가 되지 않다 보니 기사화되는 경우는 상대적으로 적은 것 같다.
하지만, 학계에서 관련된 이야기를 하다 보면 이에 대한 대부분의 연구자들이 이에 대한 문제의식을 가지고 있긴 하다. 그리고 애초에 교육대학원, 특수대학원이 난립되고 사실상 대학들이 학위 장사를 시작함에 따라 예견된 결과이기도 하다(일반대학원이 예외라는 것은 결코 아니다).
참고로 나는 대학들이 학위 장사를 함에 따라 많은 대학원생을 받고, 이들의 졸업을 위해 논문 통계를 암암리에 추천 또는 의뢰하고 이를 토대로 학위를 받고 졸업시키는 관행과 이 과정에서 대학원생과 필자와 같은 통계쟁이들의 니즈가 일치하여 서로 윈윈(?)하는 이러한 생태계 자체에 문제를 제기할 생각은 없다.
이러한 생태계는 각종 포털 사이트에 '논문 통계'라는 키워드만 검색해도 무수히 많은 업체들이 나올 정도로 이미 공고한 시장이 형성되어 있기에 바뀔 가능성도 솔직히 낮다.
다만, 계량 전공자 관점에서 1) 현 상황에 대한 원인을 이야기해 보고(현 포스팅), 2) 논문 통계를 의뢰하는 것이 정말 괜찮은 것인지, 3) 졸업을 위해 어떻게 대학원 생활을 해야 할지에 대한 생각을 적어보고자 한다.
.
.
.
필자가 생각하는 부정/부실 논문의 과다 양산 이유 중 하나는 대학원 과정에 방법론 수업이 현저히 적기 때문이다. 필자의 전공이 심리학이기도 하지만 사회과학 전분야를 통틀어서 양적연구 방법론이 가장 강세인 심리학과 교육학 분야를 놓고 논했을 때 일반적으로 국내 일반대학원 과정에서 한 학기에 평균적으로 개설되는 방법론 수업은 2개 정도다(질적연구가 운 좋게 개설된 다면 2개 이상일 수도 있겠다).
하지만 대부분 학부가 심리학 또는 교육학이 아닌 대학원생도 있기에 기초적인 과목을 제외하면 현실적으로 대학원생이 매 학기 빠짐없이 방법론 수업을 듣는다고 했을 때 수강할 수 있는 고급방법론 수업은 정말 많아야 2~3개가 전부다(계량심리학이나 교육통계 전공 교수님들이 한 학교에 많아야 1명 정도이기 현실적인 한계도 좀 있다. 일반대학원도 이러한데 특수대학원은 오죽하랴;;;).
물론, 방법론 전공 교수님들이 좀 더 포진해 있는 인서울의 좋은 대학의 경우 관심 있는 수업을 더 들을 수도 있고, 학점 교류시스템이 갖춰진 점을 이용하면 더 많은 수업을 들을 수 있기도 하다. 하지만 주변의 수많은 대학원생들을 본 경험상 보통 자대 내에서의 통계/방법론 수업 외에 다른 수업을 열정적으로 찾아 듣는 대학원생은 정말 보기 드물다.
그리고 진짜 심각한 문제는 여기서부터 발생한다.
양적연구방법론(일명 행동과학계량) 분야는 최근까지 정말 많은 발전을 하고 있어서 솔직히 전공자 입장에서도 따라가기 버거울 때가 많다. 문제는 이러한 최신 트렌드와 고급 모델링을 하려면 상당한 이론적 지식이 필요한데 이런 부분은 일반대학원에서 조차 제대로 배울 기회가 드물다(이거를 생성형 AI가 코드를 다 비슷하게 짜주는데 뭐가 문제냐는 생각은 정말 아메바 같은 발상이다).
좀 더 구체적인 예시를 들어보겠다. 다층모형, 문항반응이론, 혼합모형과 같은 방법론은 최근뿐만 아니라 이전부터 정말 널리 사용되어 오는 방법론들이다. 실제로 출판된 연구들을 찾아보면 셀 수 없을 정도로 많다. 문제는 국내 일반대학원 중에서 이 과목들을 가르치는지를 살펴보면 정말 충격적 이게도 몇 년치 강의 목록을 뒤져야 1~2개 나올까 말까다(필자는 운 좋게 한 학기 커리큘럼으로 위 3개 중 2개는 들어보았으나 1개는 아직까지도 제대로 들어보지 못했다).
그런데 너도 나도 졸업 논문으로 고급 모형을 쓰는데 이런 내용 자체를 정작 대학원에서는 가르치지 않는다는 점이다. 실제로 필자에게도 논문 시즌만 되면 연락하는 지인들도 대게 교수님이 새로운 방법론을 쓰거나 고급모형을 쓰라는 피드백 때문에 울상이 되어서 오는데 '이걸 대학원에서 가르치지 지도 않고, 배운 적도 없는데 해오라고 한 게 맞냐?', '이거 지도교수님이 분석 과정과 결과에 대한 피드백을 해줄 수 있긴 한 거냐?'는 말을 여러 번 한다. 그만큼 고급 모델링을 하는 경우가 많다는 거다. 그리고 이는 '어자피 대학원은 혼자 공부해야 하는거야'라고 하는 통상적인 범위를 훨씬 넘어서는 수준이다.
이러다 보니 연구 중심인 일반대학원에서 조차도 암암리에 통계 분석을 의뢰하는 경우가 많다. 그리고 지도교수님들도 이를 묵인하는 경향이 있는 것 같다. 데이터를 조작하거나 결과를 조작한 정도의 심각한 연구 윤리 위반은 아니어서일까...
.
.
.
정리하자면 전공자 입장에서 볼 때 현대 행동과학계량 분야의 발전 양상에 비해 대학원에서 다양한 방법론 수업이 적게 열리는 면이 있다. 이러다 보니 따로 돈을 내고 통계 과외를 받거나 비싼 돈을 내고 의뢰할 수밖에 없는 게 현실이다.
글을 쓰면서 개인적으로 거절하기 힘든 의뢰가 와서 재능기부 차원 헤서 했던 케이스들의 분석 모형을 살펴봤는데 60% 이상은 한 학기 커리큘럼으로 해당 강의가 열리고, 제대로 수강만 했다면 무리 없이 본인 졸업논문을 스스로 분석해서 작성할 수 있는 난이도였다(물론 개인차는 있을 수 있으나 대략적으로 본다면 말이다).
따지고 보면 논문 통계 시장은 각 대학원에서 학생들을 위한 커리큘럼을 잘 제공한다면 애초에 형성될 이유가 없었던 시장인 셈이다.
-Haru-