brunch

You can make anything
by writing

- C.S.Lewis -

by 감동근 Dec 02. 2018

'세계 1% 연구자'를 둘러싼 논란


<중앙일보> 최준호 기자의 '세계 1% 오르고도 교수 10번 떨어진 사연' (https://news.joins.com/article/23161389)이라는 기사를 비판하는 글을 페이스북에 올린 바가 있다.


첫 번째 글: https://www.facebook.com/kamdong/posts/2373955006009324

두 번째 글: https://www.facebook.com/kamdong/posts/2375914912480000

세 번째 글: https://www.facebook.com/kamdong/posts/2377470172324474


이에 대해 최준호 기자가 '감방' 운운하며 '공개사과'를 촉구한다길래, 조 박사가 자꾸 거론되는 것이 안타깝지만, 여기에 조금 더 근거를 밝혀둔다.



아래가 최 기자가 주장하는 '한국연구재단의 반박자료'라고 한다.



조 박사가 'HCR(피인용 상위 1% 연구자)'에 선정된 근거가 된 'HCP(피인용 상위 1% 논문)'는 15편이라고 한다. 이 중 절반 이상의 논문들과 밀접히 관련돼 있는 사람을 먼저 살펴보자.




라비 아가왈(Ravi Agarwal) 박사를 소개한다. 본인 홈페이지(https://usern.tums.ac.ir/User/CV/Ravi_Agarwal)에 올려둔 CV에서 따온 프로필인데, 우선 'Top 1% Scientist' 마크가 눈에 띈다. 그 아래로는 자신이 89개의 저널에 약 1,400편(!)의 논문을 실었으며, Google Scholar 기준으로 33,000회 이상 인용됐음을 자랑하고 있다. 게다가 현재 무려 27개 저널의 Editor/Associate Editor를 맡고 있다 (Editor에서 물러난 저널까지 포함하면 44개다).

 

저널 편집에만 전념한다고 하더라도 27개 저널을 제대로 운영한다는 것이 과연 가능할까?





아가왈은,

1) 기존 저널의 제호를 흉내 낸 유사 저널을 만들고,

2) 학술적 가치가 미미한 논문들을 심사 과정도 제대로 거치지 않고 잔뜩 실은 다음 (편집자가 곧 저자이자 리뷰어이기 때문에 당연히 게재 승인이 된다),

3) 이런 논문들을 서로 마구잡이로 인용하는 방식으로 IF와 피인용 지수를 단기간에 급등시키고,

4) 이런 저널을 메이저 출판사에 팔아넘기는데 놀라운 사업 수완을 발휘했다.


내 주장이 아니라 필즈상 수상자인 David Mumford가 그의 블로그(http://www.dam.brown.edu/people/mumford/bloginclude/CitationScamming.rtf)에서 설명한 것이다.


Let me introduce this game by outlining it in abstract form before giving the concrete example. It all begins with a small group of academic colleagues in the same field deciding to start a journal in their discipline and use trickery to build it into a "high-impact" one, while at the same time building up their own personal "citation impact factors". They may first give their journal a name similar to (and easily mistaken for) an established journal, and then they find some publisher to handle it. They play their game by writing many short articles with interesting titles but that are either almost without new content, or that rehash some old and well-known material. They submit these papers to their own new journal, and since they are not only the authors, but are also the editors and the referees, these papers are of course accepted. And here is the punch-line; all of these papers cite a great many of the other articles printed in this journal, as well as their own papers and those of other members of this clique that are published in other journals. Needless to say, more often than not, these citations are fake, in that the cited articles have little or no relevance to the (anyway minimal) content of the citing paper. Slowly at first, but then more and more rapidly (because of the positive feedback in the way that citation index factors are calculated), their journal and they themselves rise into the "high-impact" realm. They themselves are quickly promoted and get high-paying outside offers, and their journal may be snapped up by a famous scientific publishing house, perhaps even the same one that publishes the established journal with a similar name. If this sounds unbelievable, just read on to see a real live example.


Mumford 교수가 이런 사기극의 전형적인 사례로 들고 있는 것이 바로 아가왈이 만든 저널 <Fixed Point Theory and Applications> (FPTA)이다. 2000년 아가왈은 JFPTA의 제호에서 'journal'만 뗀 FPTA를 만들어 (이때 경상대 조열제 교수도 Editor-in-Chief로 동참한다), 2014년에는 IF를 2.503까지 올렸다. 


같은 해, 정작 정통/원조인 JFPTA의 IF는 0.545에 불과했으며, 수학자들이 여기 논문 한 편 싣는 것을 평생의 꿈으로 생각하는 <Annals of Mathematics> 조차도 IF가 3.236에 불과했던 것을 생각하면, FPTA의 IF 조작은 극단적이었다.


그러나, 아가왈의 만행에 분노한 Andrzej Granas (https://scholar.google.pl/citations?user=NNUPoKEAAAAJ), Tadeusz Iwaniec (https://en.wikipedia.org/wiki/Tadeusz_Iwaniec), Richard Palais (https://en.wikipedia.org/wiki/Richard_Palais), Michael Shub (https://en.wikipedia.org/wiki/Michael_Shub), Jean Mawhin (https://fr.wikipedia.org/wiki/Jean_Mawhin) 등 스무 명이 넘는 수학자들(다들 위키피디아에서 검색될 정도로 쟁쟁한 거물들이다)이 FPTA 퇴출 운동을 벌인 끝에 2014년을 마지막으로 SCI에서 삭제됐다.


가끔 자기 인용(self-citation) 비율이 일정 한도를 넘은 저널에 한시적으로 IF를 부여하지 않기도 하지만, 이처럼 당대의 대가들이 적극적으로 퇴출 운동을 벌인 사례는 좀처럼 들어보지 못했다.


조 박사는 선정 근거가 된 HCP 15편 가운데 가장 많은 세 편을 FPTA에 실었고, HCP에 포함되지 않은 것까지 포함하면 총 17편을 FPTA에 실었다. 연구재단의 자료에서 "동 저널(FPTA)은 2016년부터 SCI급 저널에서 제외되어 게재 시에는 SCI급 저널임"이라는 해석에는, 역대 최고의 타자 중 한 명으로 꼽히면서도 약물 복용 사실이 들통나 '명예의 전당' 입성이 번번이 거부되고 있는 배리 본즈가 울고 갈 지경이다.



다음으로, HCP 두 편을 실은 <Journal of Inequalities and Applications> (JIA)를 살펴보자. 이것도 아가왈이 편집장(Editor-in-Chief)을 맡고 있다. 혹시 조 박사가 선의의 피해자일 가능성은 없을까? 즉, JIA가 악명 높은 아가왈과 연루된 저널인 줄 미처 모르고 논문을 게재했던 것은 아닐까?


SM Kang, SY Cho, Z Liu, "Convergence of iterative sequences for generalized equilibrium problems involving inverse-strongly monotone mappings", Journal of Inequalities and Applications, 2010.


이 논문은 2009년에 열린 <10th International Conference on Nonlinear Functional Analysis and Applications> (IC-NFAA)라는 학회에 발표된 것이 JIA 특별호(special issue)에 게재된 것이다. IC-NFAA는 경상대 조열제 교수와 경남대 김종규 교수(1952년생으로 동갑인 두 사람은 부산대 학/석/박 동문이고 지도교수까지 같다)가 만든 학회인데, 이 학회의 International Advisory Committee에 아가왈이 들어가 있다. 학회 프로시딩을 특별호로 만들어준 (이제 SCI 실적이 됐다!) 아가왈에게 두 교수는 감사의 글을 잊지 않았다.



조 박사가 JIA에 실은 또 하나의 HCP 논문은 원래 <Mathematical Inequalities and Nonlinear Functional Analysis with Applications> (MINFAA)라는 학회에서 발표된 것이다. MINFAA는 IC-NFAA가 이름을 바꾼 것이고, 조열제 교수 등이 그대로 학회장을 맡았다. 이 학회에서 아가왈은 기조연설(plenary talk)을 했고, 조열제 교수가 Lead Guest Editor를 맡은 JIA 특별호를 통해서 조 박사의 논문이 출판됐다.



뿐만 아니라 조 박사는 아가왈과 논문을 같이 쓴 적도 있으며, 조 박사의 지도교수인 강신민 교수는 10편의 논문을, 조열제 교수는 무려 25편의 논문을 아가왈과 공저했다. 이상의 사실로부터 경상대 연구 그룹은 아가왈과 오랫동안 각별한 관계를 맺어왔음을 알 수 있다.


한편, 아가왈이 저자로 참여한 논문에 대한 다른 수학자들의 평가는 냉정하다.


According to mathscinet, Dumitru Baleanu has published 51 articles in 2013. No wonder he can’t keep track of things anymore. He is small fries compared to editor Ravi Agarwal though: according to mathscinet Agarwal has 1218 publications. Of these 11 are jointly with Dumitru Baleanu, all published in 2010 or later. They are part of a group of people around Agarwal who publish enormous amounts of articles. Judging from the couple of articles from this group that I’ve read, their work consists mostly of nonsense.

출처: https://retractionwatch.com/2013/12/02/mathematicians-have-second-paper-retracted/


I have looked more carefully at some recent FPTA articles, including one joint article by Agarwal published this month. It does seem to me that you could have included many of the results as exercises in the first few pages of your Fixed Point Theory.

출처: Mumford 교수의 블로그



이제, 연구재단 자료에 특별히 '상위 10%'라고 표시된 저널들인 <Applied Mathematics Letters>(AML)과 <Applied Mathematics and Computation> (AMC)을 살펴보자. 여기에 조 박사는 각각 두 편의 논문을 실었는데, 이 두 저널의 공통점은 무엇일까?


SY Cho, SM Kang, "Approximation of fixed points of pseudocontraction semigroups based on a viscosity iterative process", Applied Mathematics Letters, 2011.

SY Cho, X Qin, SM Kang, "Hybrid projection algorithms for treating common fixed points of a family of demicontinuous pseudocontractions", Applied Mathematics Letters, 2012.


X Qin, SY Cho, SM Kang, "On hybrid projection methods for asymptotically quasi-ϕ-nonexpansive mappings", Applied Mathematics and Computation, 2010.

SY Cho, X Qin, "On the strong convergence of an iterative process for asymptotically strict pseudocontractions and equilibrium problems", Applied Mathematics and Computation, 2014.


바로 아가왈이 조 박사 전공 분야로 접수된 논문의 심사 과정을 관장하는 부편집장(Associate Editor)였다는 점이다. 그러면 아가왈은 심사를 어떤 식으로 진행했을까?


Shusen Ding이라는 사람이 <Computers & Mathematics with Applications>(CMA)라는 저널에 게재한 "Global estimates for the Jacobians of orientation preserving mappings"이라는 논문이 취소된 사건이 있다. https://www.sciencedirect.com/science/article/pii/S0898122108004173


그 이유는 Ding이 이 논문과 아무 관계도 없는, 시라큐즈 대학의 석좌 교수인 Tadeusz Iwaniec의 이름을 공저자로 무단 도용했기 때문인데, Iwaniec 교수는 다음과 같이 증언하고 있다 (출처: 필즈상 수상자 David Mumford의 블로그).


"In fact, S. Ding submitted his purported joint paper in April 2005 to his colleague R. Agarwal (Associate Editor of CMA) who accepted it instantly without refereeing."


세상에, 심사도 안 거치고 게재 승인하다니! 이것이 바로 아가왈이 십수 개 저널의 부편집장을 동시에 맡고 있는 비결이다.


Iwaniec 교수는 나중에 FPTA 퇴출 운동에 참여했을 때, 자신의 명의를 도용한 가짜 논문을 심사도 없이 승인한 CMA의 부편집장과, FPTA의 편집장이 동일 인물임을 깨닫고 개탄을 금치 못했다. FPTA 퇴출 운동에 즈음하여 아가왈은 AML(2012년)과 AMC(2014년)의 부편집장에서도 물러나게 된다.



조 박사가 '세계 1% 연구자'에 선정된 근거가 된 HCP 15편 가운데 벌써 9편이 아가왈과 관계돼 있다. 더 살펴봐야 하나? 마지막으로, 혹시 FPTA가 퇴출된 이후에는 경상대 연구자들이 아가왈과 결별하진 않았을까 하는 기대를 갖고 2016년에 '상위 10%' 저널에 게재됐다는 아래 논문을 열어봤다.


SY Cho, "Generalized mixed equilibrium and fixed point problems in a Banach space", Journal of Nonlinear Science and Applications (JNSA), 2016.


노란색으로 표시한 "Communicated by" 다음에 나오는 사람이 이 논문의 심사 과정을 관장하는 에디터다.


헉 소리가 나왔다. 조 박사가 투고한 논문을 조열제 교수가 맡은 거다. 조 박사는 수학과, 조열제 교수는 수학교육과라 소속이 다르다고? 그럼 이건 어떤가? 



강신민 교수가 교신저자로 투고한 논문을 그와 한 직장에서 30년 이상 함께 근무한 조열제 교수가 심사를 맡았다. 게다가 "거의 같은 분야를 연구하는 강신민·조열제 교수와 조선영 박사는 평균적으로 주 1회 세미나를 함께한다"는데? (https://news.joins.com/article/20625079)


논문이 우연히 잘못 배정된 것이 아니다. 이 저널은 저자가 투고 시에 에디터를 선택하고, 에디터는 저자가 누군지 다 알고 심사를 진행한다는 점에서 가장 기본적인 연구 (출판) 윤리를 지키지 않은 것이다. 과연 리뷰 절차를 거치기나 했을까? 이런 케이스는 한둘이 아니다. '이해상충'(conflict of interest)이라는 개념 자체가 아예 없는 것이다.




게다가 위 논문은 악명 높은 아가왈한테 헌정되는 특별호에 실렸다. 세계적인 거장들이 아가왈을 경멸하며 퇴출 운동에 힘 쏟고 있을 때에 이러고 있다니... 정말 자존심이 상한다.


그러고 보니 이 저널에는 조열제 교수 정년 기념 특별호도 있고, 어느 교수 환갑 기념 특별호도 있고... 완전 가족 잔치다. 최소한의 부끄러움을 알면 이렇게 대놓고 하지 못할 텐데, 저널 웹사이트 몇 분만 둘러보면 명백한 증거가 차고 넘치는데, 왜 여태 아무런 제지를 받지 않고 여기까지 온 것인가? 참으로 야속하다.


이런 걸 당연하게 봐왔을 조 박사한테 '약탈적 저널'(predatory journal)이나 학술 출판 윤리 문제를 제기한 것은 무의미했다. 이 분은 그저 보고 배운 대로 했을 테니까.


그렇다고 조 박사를 무지의 희생양으로 보긴 어렵다. 세상 물정에 깜깜했을 나이도 아니고, 박사(2011년 2월 학위 취득)라면 자기 연구에 자기가 책임을 지는 것이다. 그러나 여기에도 정상적인 교육을 받았다는 전제가 깔려 있다고 보면, 조 박사의 경우에는 정상 참작 여지도 있다고 생각한다. 조 박사가 과거를 딛고 정도를 걷는 연구자로 재기하길 바란다.



한편, 이렇게 구멍가게보다 못한 수준으로 운영되는 저널을, 클래리베이트는 도대체 어떻게 '분야 상위 10% 이내 저널'로 분류했을까?


클래리베이트가 수학 분야에서 '세계에서 가장 영향력이 있는 연구자'(HCR)라고 선정한 사람들을 찾아봤다. 총 90명인데, 우선 특정 지역/대학에 몰려있는 것이 눈에 띈다. China Med Univ Taiwan에 8명, 사우디 아라비아의 King Abdulaziz Univ에 10명, King Saud Univ에 5명으로 이 세 학교에 수학 분야 '세계 1% 연구자'의 25%가 몰려 있다!



이 특이한 현상을 이해하기 위해 나는 '아가왈 수'(Agarwal number)의 도입을 제안한다. 아가왈 수는 '에르되시 수'의 개념을 그대로 쓰되, 측정 기준만 전설적인 수학자 에르되시 대신 역대급 빌런 아가왈로 바꾼 것이다.

 

즉, 아가왈 본인의 아가왈 수는 0이고,

아가왈의 공동 작업자(논문을 공저한 적이 있는 사람)의 아가왈 수는 1이며,

A는 아가왈과 공저한 적은 없지만 B와 공저한 적이 있고, B가 (다른 논문에서) 아가왈과 공저한 적이 있다면 A의 아가왈 수는 2가 되는 식이다.


에르되시 수는 작을수록 뛰어난 업적을 남긴 수학자인 경향이 있다지만, '세계 1% 연구자'라면 역대급 빌런인 아가왈과 별로 엮일 일이 없을 것 같은데... 자, 이제 수학 분야 '세계 1% 연구자'의 아가왈 수를 따져보자.


이럴 수가! 


아가왈 수가 1인 사람이 무려 27명이다. '세계 1% 연구자'의 30%는 아가왈의 공동 작업자다.

또, 수학 분야 '세계 1% 연구자' 90명의 아가왈 수 평균은 2.23이다. 즉, 한 다리만 건너면 아가왈과 연결된다.

그러므로 '세계 1% 연구자'가 되고 싶으면, 아가왈과 친해지는 게 비결이다!



물론, 정직하고 우수한 연구자도 의외로 아가왈 수가 낮게 나올 수 있다. 예를 들어, 아가왈이 흑화 되기 전에 그와 공동 작업했던 연구자는 억울할 것이다. (아가왈이 흑화 된 시점은 잠시 후에 따져볼 것이다.) 그래서 문제의 저널, JNSA에 '세계 1% 연구자' 중 몇 명이나 참여하고 있는지를 살펴봤다. 세상에나...


JNSA에는 클래리베이트가 엄선한 '세계 1%' 수학자 90명 중 14명이 편집위원(노란색)으로 참여하고 있으며, 또 다른 14명(주황색)이 이 저널에 논문을 게재했다. JNSA는 '세계 1%' 수학자 중 무려 30% 이상이 애정 하는, 수학 분야 최고의 저널인 것이다.


이 저널에서 저자의 30년 직장 동료가 심사를 맡는 것도, 워낙 세계 최고 수준의 연구를 다루다 보니 '세계 1%' 수학자들끼리만 이해할 수 있기 때문인 것 같다.


JNSA를 애정하는 '세계 1%' 수학자 28명의 아가왈 수 평균은 1.18이다.


자, 이제 수학에서 피인용 지수로 '세계 1% 연구자'를 뽑는 게 얼마나 부질없는 짓인지가 분명히 드러났다. (적어도 4명의 수학자들이 50회도 채 인용되지 않은 논문을 갖고 필즈상을 받았다.)


또, 아가왈 일당처럼 이런 어처구니없는 평가 시스템을 악용하는 세력이 들끓고 있다는 점도 확실히 알겠다. 아가왈 수가 1인 사람들 중 상당수는 아가왈의 분신이나 마찬가지어서, 아가왈 수를 1이 아니라 0으로 계산해야 하지 않나 고민이 될 정도였다. 예를 들면, Donal O'Regan은 아가왈의 저널 비즈니스에 적극 가담하며 무려 593편(!)의 논문을 같이 썼다. JNSA의 Editorial Board 맨 꼭대기에 이름을 올린 사람이 누구일까? 바로 Donal O'Regan이고, 직함이 무려 'Scientific Chairman'이다. 


본의 아니게 아가왈 일당과 같은 급으로 묶인 정말 세계적인 연구자들은 자기 이름을 빼 달라고 해야 할 지경이다. (테렌스 타오 지못미~)



1947년생인 아가왈은 90년대 초반까지는 대개 1년에 열 편 안쪽의 논문을 출판해 오다가, 90년대 중반부터 논문 수가 급상승하기 시작해 2000년에는 한 해에 무려 65편, 즉 일주일에 한 편 이상의 논문을 찍어내기에 이른다.


아가왈이 학술지 사업에 눈을 뜬 시점은 데이터 기반 연구성과 평가가 본격적으로 도입되던 시기와 맞물려 있다. 아가왈은 2000년에 JFPTA를 베껴 FPTA를 만드는 등 점점 흑화 돼 가다가, 2005년에는 리뷰도 안 하고 논문을 게재 승인하는 등 더 이상 학자로 볼 수 없는 상태가 됐다.



그런데 클래리베이트는 '세계 1%' 수학자 명단을 발표하기 전에 한 번 살펴보기나 했을까? 

상식적으로 이해하기 힘든 결과가 나왔다면 어디가 잘못된 것인지 생각해봐야 하지 않나?


클래리베이트 애널리틱스의 시초인 ISI (Insititute for Scientific Information)를 설립한 유진 가필드가 이렇게 강조했었다 (http://www.mrcophth.com/publishorperish/impactfactor.html). 


"Informed and careful use of these impact data is essential. Users may be tempted to jump to ill-formed conclusions based on impact factor statistics unless several caveats are considered."


이처럼 임팩트 팩터나 피인용 지수 등의 지표가 갖고 있는 한계를 이해시키고, 단순히 그 숫자만으로 성급한 결론을 내리는 것을 경고해야 할 클래리베이트가 오히려 HCR 따위의 이벤트를 열어 사짜들이 횡행하는 것을 부추기고 있으니 정말 한심한 노릇이다.




학문을 학문답게 추구하지 않는 일부 연구자들끼리 그룹을 이뤄,

그리 떳떳하지 못한 학계의 관행(?)에 비추어 보더라도 도저히 용납할 수 없는 방법으로 거짓 명성을 얻고,

그것을 언론을 통해 홍보하고,

또 그것이 몇 년째 반복되는데도 그 그룹이 속한 기관/학회가 스스로 바로잡을 생각은 안 하고,

보다 못해 문제점을 지적해도 적반하장으로 나오는 부조리극에 분노했다.



이제 와서 보니, 경상대 연구팀에 대한 수학계 주류의 판단은 이 사건이 불거지기 훨씬 전부터 이미 내려져 있었다. 개별적으로 접촉했을 때 그들을 학계의 구성원으로 인정하기는커녕 극단적인 표현을 써가며 고개를 절레절레 흔들었다.


조금만 품을 팔면 그들이 최소한의 학술 출판 윤리도 지키지 않았다는 증거를 무수히 찾을 수 있지만, 학계 주류에서 적어도 십수 년 동안 방치해둔 것이다. '세계 1% 연구자' 따위에 뽑힌 걸로 언론 플레이를 하거나 말거나, 갈라파고스에서 그들끼리 그러고 살도록 말이다. 그들이 세계 수학자 대회 같은 데서 연설할 일은 절대로 일어나지 않겠지만, 허명을 쫓아 갈라파고스로 들어간 학생들은 참 불쌍하다.


다만, 나도 이 지옥도를 논란이 진행되면서 조금씩 파악해 간 것이다 보니, 지금 처음으로 다시 돌아간다면 조금 다른 방식으로 문제 제기를 했겠다는 아쉬움은 남는다.


학계의 자정 작용을 기대하기 어려운 구조적인 이유 중 하나는 이런 것이다. 매력적인 국가 연구 과제가 공고되면 주류 연구자들 대부분이 지원한다. 기관 단위로 경쟁하기도 한다. 그러면 이해상충을 피하기 위해 선정 심사가 주로 갈라파고스 무리에게 맡겨진다. 괜히 나섰다가 이런 데서 보복을 당할 수도 있는 것이다.


수학계만 탓할 일도 아니다. 이번 사건이 피인용 지수와 실제 연구 명성과의 상관관계가 가장 떨어지는 수학 분야에서 일어나다 보니 외부자의 눈에도 금방 띄었을 뿐, 내 전공 분야에는 이런 일이 없다고 자신할 수 없다.




Acknowledgement


끝으로 내가 이 문제를 깊게 파고드는데 <중앙일보> 최준호 기자가 결정적인 기여를 했음을 밝혀 둔다. 

좋게 봐줘 취재를 엉성하게 해 논란을 자초해놓고, 근거를 갖춘 반론 제기에 협박으로 대응하다가, 취재원 뒤로 숨으며 (조 박사의 해명에서조차 등장하지 않는) 그의 '중3 딸'까지 방패막이로 삼다니!  

이것이 이번 부조리극에서 내가 가장 분노했던 지점이었고, 덕분에 귀찮음을 무릅쓰고 자료를 뒤져보게 됐다.





작가의 이전글 카카오의 바둑 인공지능이 축도 모른다고요?

매거진 선택

키워드 선택 0 / 3 0
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari