brunch

매거진 꾸준한 스몰사이즈 연구에 관하여

라이킷 2 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by ChulW Dec 08. 2018

Al

실적 좋고 실력 없는 가짜 석학의 시대 (Ver. 1.1)

오늘 집에 들어오다 보니 우편함에 학교 동창회보가 와 있었다. 평소엔 뜯지도 않고 그냥 옆에 쌓아두는 경우가 많지만, 이번 호엔 뭔가가 필요하여 동창회보를 열어봤다. 그리고 열었으니 뭐가 있나 보자며 한 번 쓱 훑어보기 시작했다. 1면을 보다 눈이 문득 간 데의 기사 제목이 ‘현택환 동문 등 5명, 세계 논문 인용지수 상위’였다.

“어라? 다섯 분, 모두 우리 과네?”

보아하니 ‘2016 재료화학·공학 분야 논문 인용지수' 상위 300위에 우리나라 사람이 8분이 올라왔는데 우리 과 교수 두 분(장정식, 현택환 서울대 화학생물공학부 교수), 그리고 타 대학교 재직 중이시거나 재직하셨던 선배 세 분(유룡 카이스트 교수, 고 박태관 전 카이스트 교수, 최형진 인하대 교수)이 당당히 이름을 올렸다는 거다. 우리나라의 재료화학·공학 분야의 실적을 필자의 출신 학교 출신 학과에서 다섯 분이 올라온데 더해, 나머지 세 분 중에서 두 분과도 사이가 각별한 분이다(그 두 사람은 유니스트 조재필 박사, 인하대 박수진 박사이다). 학계에서 그냥 친한 사람들과만 교류하는 필자임에도 나름 각별한 사이인 분이 몇 없는데 모교 은사 같은 두 분을 포함하여 네 분이나 그중에 포함되는 ‘놀라운’ 일이 벌어졌다. 위의 인용지수 상위에 오른 여덟 분 중 잘 아는 네 분은 모두 훌륭한 분임을 전제하고, 이분들을 이렇게 높이 평가하게 된 객관적 근거인 『Impact Factor』(이하, IF)라는 것에 관해 과학자가 아닌 사람들을 위해 이야기해보겠다.

논문을 써본 사람들은 흔히들 접하는 이야기지만, 대다수 사람은 저게 뭐야? 뭐길래, 저걸로 평가가 가능하다는 거지? 하는 생각이 드는 건 당연하다. IF라는 건 ‘논문 (피)인용지수’라고 번역되는 일종의 지표다. 어느 연구자가 자신의 연구를 논문화하여 학술지에 게재 성공한 후, 후속 연구자가 논문화된 과거 연구를 자신의 논문을 쓰면서 참고문헌으로 ‘인용'하여 붙이면 ‘한번 인용되었다'인 것이다. 정확히 같진 않음을 전제하고 IF를 우리 일상에 빗대어 표현해보자면, 페이스북 같은 소셜미디어의 ‘좋아요'와 ‘공유’ 버튼과 상당히 흡사하다고 할 수 있겠다.

필자가 두 번째 저자로 게재된 2004년 학술지 ‘CARBON’의 논문 / Elsevier Science

필자의 논문을 예로 본다면, 참여한 연구 중에서 가장 인용이 많이 된 것이 첨부 그림에 있듯이 2004년 Carbon에 두 번째 저자로 나간 것인데, 첫 번째 저자이자 교신 저자 분과 그분의 일본인 박사 지도 교수, 그리고 카본 나노 파이버의 세계적 대가인 미국인 교수 두 분과 공동 연구한 결과였다. 구글 스칼라 집계 기준으로 대략 162회 정도 ‘인용’된 것이다. 필자의 칼럼이 페이스북 ‘좋아요'와 ‘공유’를 합하여 162회 받은 상황과 흡사하단 말이다.

촉이 좋은 분들은 이런 이야기를 들으면 바로 이렇게 반응한다.

“어………., 페이스북 ‘좋아요'도 노이즈가 많아서 6가지 감정으로 세분화했다죠. ‘싫어요'도 넣어야 한다는 의견이 있었지만, 분란 걱정을 했는지 빠졌던데, 그래도 논문에서 인용되는 건 그런 문제는 없겠죠? 아 그리고 ‘공유’도 있네요. 그러고 보니 ‘공유'는 정확히 인용과 흡사하군요. 그런데, 꼭 좋아서 하는 게 ’ 공유’가 아닌데 말이어요.”

그런데 말이다. 안타깝게도 IF도 완벽하지 않기에 학술지들도 치열하게 ‘노이즈'(※ 여기서 ‘나쁜 인용’이라 통칭하겠다)를 줄이기 위해 고심하고 있다. 학술지의 랭킹도 판정할 때 IF를 기준으로 삼는데 ‘노이즈’를 보정하기 위해 Source Normalized Impact per Paper(SNIP)란 것도 시도하고, SCImago Journal Rank(SJR)(※ 구글 페이지 랭킹과 흡사한 알고리즘인데, 정작 구글은 더는 페이지 랭킹을 잘 쓰지 않는다)도 시도하고 최근 5년간 값만 따로 집계해 참신성도 유지하고 말이다.

논문을 쓰고 투고 전 과정을 거쳐 본 사람들은 왜 이러는지 알지만, 안 써본 사람들에겐 미지의 영역일 뿐이라 IF가 도대체 뭐란 말인가 하고 어리둥절해한다. 앞서 밝힌 바와 같이, 논문의 ‘인용' 활동은 페이스북 같은 소셜미디어의 ‘좋아요', ‘공유'와 흡사한 성향을 갖는다. 인용의 순기능은 논문의 논지 전개에 있어 중요한 ‘사전 지식'의 역할을 하는 것인데, 이걸 하지 않으면 모든 연구를 스스로 새로 해야 하는 것에 다름이 아니다. 그런데, 이게 ‘인용'을 하다 보면 그 연구 결과를 동의하고 그 연구결과의 과학적 가치가 엄청나기 때문에 하는 게 아니라, 그 연구의 문제점 지적, 반론 등의 사실상 ‘싫어요'라는 이유로 ‘인용'하는 사례도 제법 많이 보인다.

연구 실적을 평가함에서 노이즈라 할만한 ‘나쁜 인용’은 대략 다음으로 다섯 가지 정도를 들 수 있는데, 일반인들이 이해하기 쉽도록 이를 페이스북 같은 소셜미디어의 왜곡된 ‘좋아요’와 ‘공유’ 활동에 빗대어 설명해보려 한다(※ 소셜미디어에서도 이런 노이즈 때문에 골머리를 썩고 있다).

첫째로, 소셜미디어의 조리돌림(※ ‘공유'의 또 다른 이면으로, 반박하고 문제점을 지적하고 조롱하기 위해 한다)과 흡사한 이유로 인용을 하게 되는 사례가 있다. ‘인용된 그 논문'처럼 되지 않으며 ‘자기가 투고한 논문'처럼 된다고 주장하기 위해서 인용하는 사례가 그것인데 이렇게 인용된 것은, 비록 게재되었지만, 악명이 높아지는 나쁜 인용에 해당한다.

둘째로, 소셜미디어에서 자기 포스트마다 자기가 꼬박꼬박 ‘좋아요'를 누르는 사람이 있는데, 그와 흡사한 게 ‘자가 인용'이다. 소셜미디어에선 그냥 애교로 보는 활동이지만, 논문 인용에선 애교 수준을 넘어서면 문제가 된다. 즉, 자기 새 논문에 자기 예전 논문을 ‘과도하게’ 자가 인용하는 사례를 말한다. 남세스러운 상황인데, 일련의 연구 과정이 아닌 채 습관적으로 ‘인용’하는 게 문제다.

셋째로, 소셜미디어의 ‘친목질'에 상응하는 사례가 있다. 이는 포스트의 내용에 무관하게 자기와 인연이 있는 ‘누가' 쓴 포스트이기 때문에 눌러주고 댓글에서 친목질의 항연을 하는 사례가 있다. 이는 같은 학맥 혹은 인연에 근간한 ‘인용'을 서로 품앗이하듯 해주고 나아가 연구 결과 수준이나 내용에 관계없이 서로를 ‘석학' 혹은 ‘대가'라 칭송하는 행위가 더해지는 사례다. 이 방법으로 세계적인 연구자 혹은 석학 반열에 오른 이를 몇 알고 있는데 이들은 ‘실험실에서 제일 무식한 사람이 교수'의 대표적 사례라 할 수 있다.

넷째로, 소셜미디어에서 ‘좋아요'와 ‘공유'를 ‘홍보대행사'를 통해 구매하는 것에 대응되는 사례가 있는데, 이는 논문 연구에 사실상 기여도가 없다시피 한 해외 ‘석학'이 논문의 공동 교신 저자로 뜬금없이 들어가는 상황과 흡사하다. 소위 ‘직거래’가 되는 사람도 있지만, 이쪽도 요즘 정치, 경제 쪽에서 핫이슈로 떠오르는 ‘홍보대행사' 성향의 중견 교수가 한국에도 간혹 발견되는 별종이다. 이들은 아이디어 좋고 연구 역량 되는 소수의 신진 학자들에게 IF 더 높은 탑 저널에 확실히 게재될 수 있게 하겠다. 논문을 써서 가져오면 자기가 누구랑 잘 아니 협의해서 더 좋은 저널에 게재 가능한지 결과를 알려주겠다고 한다. 이 ‘홍보 대행사'가 성공적으로 거래를 트면, 그 연구 결과는 상당히 좋은 저널에 탄탄한 국제 공동 연구의 성과로 포장되어 게재되고 세계적인 국제 협력 연구성과로 언론에 대서특필된다. 이게 특정연구개발사업 시절부터 도드라진 ‘홍보의 의무’가 가져온 폐해다.

다섯째로, 소셜미디어에서 ‘좋아요’와 ‘공유’를 구걸하는 사례가 있는데, 이는 피어 리뷰 때 익명 리뷰어의 가면을 쓰고 자기 논문을 ‘인용’하라고 구걸할 때 일어나는 나쁜 인용을 연상시킨다. 투고자로선 시쳇말로 아니꼽지만 피해 보기 싫어 그냥 넣어 버린다. 일종의 ‘리뷰어 갑질’이다.

여섯째로, 대개 혐오성 웹 커뮤니티(ㅇㅂ 같은)에 잘 올라오는 형태로 '펌', '펌'으로 기존의 포스트들 짜깁기 편집해 좋아요와 공유를 구걸하는 사례도 있는데, 이건 '피인용 지수 뻥튀기'를 위해 시시때때로 '리뷰'라 주장하는 형태의 논문을 쓰는 부류들이 있다. 그런데, 혐오성 웹 커뮤니티에도 종종 지적받듯, 그 첨단 과학 실상을 정말 잘 반영한 게 아니라 '친목질' 성향으로 '동북 공정' 마냥 조작된 역사로 되어 있다. 이는 포인트만 늘리려는 얕은 꾀의 말로이다.

사실 필자의 논문도 ‘나쁜 인용'에서 완전히 자유롭지 못한 상황이다 보니 같이 반성해야 할 처지다(※ 이 논문과 관련하여 ‘나쁜 인용’보다 가치 있는 것은 특허청 반모 나노 담당 서기관께서 나노소재 PM 세미나 때마다 언급해준 카본 나노 튜브 복합소재 쪽의 실체 있는 국내 최초 실용 특허 3편의 발명자란 영광과 함께 일본증시에 상장된 모 소재 업체로의 특허 실시권 판매다.). ‘나쁜 인용'은 위의 케이스만 있는 게 아니다. 필자도 알지 못하는 복합적 사례도 있지만 다섯 종류만 줄여도 충분히 학⋅연계는 건전해지고 내실이 깊어진다.

‘나쁜 인용’은 건전한 연구 문화를 해치고 가짜 ‘석학’을 양산하는 학⋅연의 ‘호환마마'(작자 주: 오타 아니며 일부러 이렇게 쓴 거임)와 같은 것이다(※ 이 이야기를 하면 학계 구석에선 이런 말이 나온다. 그렇게 하는 것도 연구의 한 수단이며 그럼 네이처, 사이언스 연구 결과가 틀렸다는 말이냐?라고 말이다). ‘나쁜 인용’은 천상 교육과 연구가 체질인 ‘책상물림’ 형 학자들을 좌절하게 한다. 자기들 딴에는 다른 데 눈 돌리지 않고 집과 연구실만 오고 가며 열심히 논문 쓰고 연구했는데, 평가는 언제나 밖으로 돌면서 학내외 정치하는 이들보다 못한 데다 심지어 ‘나쁜 인용' 탓인지 몰라도 연구 실적마저 자신을 좌절하게 한다고 속상해한다. 그리고 언제나 부족한 연구비 때문에 다음엔 어떻게 해야 할지 걱정에 빠져 있다.

앞서 재료화학·공학 분야 세계 인용 지수 상위 여덟 분 중 필자와 각별한 사이인 네 분은 지금은 화려한 실적을 자랑하시지만, 저분들도 과거엔 어려움이 많았다. 십 년도 더 이전의 어느 날, 필자에게 전화하셔서 “철완아. 나, 올해 과제 다 끊어졌다. 굶게 생겼다. 어쩌냐?”며 당장 다음 달 쓰실 연구비 걱정하셔서 필자 과제의 위탁 연구를 제안드렸더니 자신이 잘할 수 없는 걸 연구비 궁하다고 돈만 받을 수 없다 하신 당당한 분도 있으셨다. 연구 소사이어티가 세계적으로 워낙 협소하여 IF가 1, 2도 안 되는 지엽적인 저널에만 낸다고 직계 제자들에게 실력 없단 저평가를 한 몸에 받으시던 올빼미 교수님은 어느 해 찾아뵈었더니 다음 해에 안식년을 가시는데 가서 ‘그걸’ 해볼 거야! 하고 의지가 가득하시더니 그때 가서 밤새 실험하고 연구하신 게 지금 영광의 토대가 된 분도 있었다.

평일엔 학교, 주말엔 전 직장인 연구소를 오가며 열심히 사시던 교수님과는 일 때문에 만나 커피숍에 앉아 이야기하다 나온 얘기가 국내 학계가 성장하려면 국내 영자 전문 저널에 좋은 논문들이 많이 나와야 한다며 자기 연구의 절반은 아낌없이 SCIE급인 국내 영자 전문 저널에 내는 분도 있었다. 우여곡절 끝에 지금의 영광된 자리에 있는 분도 있다.

이처럼 논문 한 편 낼 때마다 세계적인 석학 헛소리하며 ‘홍보의 의무’를 충실히 수행하는 일부 교수들은 연구와 교육밖에 모르는 ‘책상물림’ 형 교수들과 확실히 대비되는 모습이다. ‘실험실에서 제일 무식한 사람’이 교수인 부류보다 확실히 제대로 된 분들이 공정한 평가받을 수 있는 생태계가 필요하다. 여기에 더해, 그 분야 전문가라면 자기 전공의 산업, 기술 난제 이해, 해결 능력이 바닥이면서 ‘차세대’, ‘미래 창조 기술’ 등을 학문이라 할 수도 없는 사이비 미래학이나 창조과학 수준을 빌어 우리나라 과학 미래를 논하며 석학 노름하는 이들에 대한 바른 평가도 이제 나와야 하고 이들에게 우리나라 과학이 휘둘리지 않아야 한다.

IF와 더불어 논문 편수 갖고 석학 노름하는 것도 이젠 잦아들어야 한다. 왜냐하면 논문은 연구의 끝이 아니라 시작이기 때문이다. 그리고 논문 편수가 많고 연구 분야가 그렇게 다양한 데 막상 전공 분야 질답이 사실상 불가한 수준들이 있다. 필자가 본 최악의 경우는 고등학교 확률과 통계에도 나오는 ‘신뢰구간’과 ‘위험률’도 구분 못하는 석학급을 본 적도 있다. 이런 부류는 ‘출판된 논문 편수에 비해 낮은 논문 적중률'을 보이는 사실상 열등생임에도, 석학 대우를 받는 경우가 많다.

소위 IF 높은 저널이 게재 성공하기가 어렵다 보니 이런저런 편법들이 자꾸 나오는 것이기도 한데, 이게 마치 ‘스펙 쌓아 취업’하기와 별반 차이가 없다. 실력보다 실적으로 사람을 고르다 보니 일어난 폐해다.

필자가 후학들을 가르칠 때 잊지 않고 하는 이야기가 하나 있다.

‘네가 보는 교과서의 한 문장이 수십 년, 아니 한 세기 전의 좋은 네이처, 사이언스의 논문 한 편이었다’

라고 말이다.

오늘날 게재 성공한 네이처, 사이언스의 논문도 빠르게는 한두 달, 좀 오래 걸리면 수년이 지나 재현성이 없거나 틀린 것으로 밝혀져 실효성을 잃거나 완전히 잊힌다. 그래서 학문의 역사에 남는 논문이 수 퍼센트도 안 된다(※ 카본 나노 튜브 관련 수소흡장(저장), 반도체 소자 관련 논문 상당수가 그럴 운명에 처할 것이고, 수십억의 기술료로 이전되었지만, 막상 동작하지 않는 ‘불량 기술'도 허다한 게 우리나라의 현실이다). 하물며, 이들 중 각 분야의 ‘교과서’라 할만한 도서에 수록되는 영광을 차지할 연구 내용은 더더욱 극소수다. ‘나쁜 인용’과 ‘좋은 저널’의 유혹에서 벗어나지 못하면 미래는 참담해질 수 있다. ‘무늬만’ 석학의 허명이 넘쳐 나고 속성으로 수백 명 석학을 양성하겠다는 오만한 비전은 전교 꼴등을 한 달 속성으로 하여 가르쳐 서울대 의대에 ‘재수 없이’ 넣겠다는 호언장담에 불과하다(많이 냈다 해서 그중 하나라도 쓸만한 게 아니다. 외려 다 못쓰는 경우도 많다).

이들은 '이쁜 쓰레기'를 만들어 '자연'에 투척하는 데 전혀 죄의식도 없다.

무릇, 석학은 ‘좋은 저널'에 논문을 성공적으로 투고해서 인용이 많이 되고 많이 읽히는 분을 지칭하는 말이어서는 안 된다고 생각한다. 지엽적인 국내 저널에 낸 논문이 워낙 훌륭하여 세계의 연구자들이 읽고 공부하며 ‘인용’ 하기 위해 우리말을 배워야 할 정도였을 때 그 논문 저자를 석학이라 하는 게 외려 적절하다. 구차하게 해외 유수 연구소 체계를 모방한다 해서 될 수 있는 게 아니다.

‘난제 해결 능력이 없는’ 석학은 껍데기다. ‘나쁜 인용'과 갖은 사술을 통해 ‘실력이 아니라 실적만 쌓은 사람이 석학 대우받는 나라의 학계는 미래가 없다. 이론에서 현장까지 두루두루 꿰뚫는 실력자가 외려 석학 대우를 받아 마땅하다. 원래 과학이란 게 어려운 걸 쉽게 설명할 수 있는 게 아니라 정확하게 설명해야만 하는 것임에도, 대단치도 않은 실력으로 과학 대중화 등 대외 활동에 치중하는 것보다 이 나라의 과학기술을 이끌어 갈 실력 있고 내실 있는 후학을 양성하는 어려운 미션에 힘써줄 때야 비로소 진정한 석학이라 칭할만하지 않을까 싶다.

이번 칼럼은 위의 네 분 중 필자의 박사 논문 심사 위원장이셨던 장정식 교수께서 필자의 박사 논문 종심 때 해주신 말씀으로 마무리하려 한다.

『대학교수에게 있어 박사 제자를 배출하는 것보다 더 중요하고 급한 것이 어딨습니까?』

학자에게 있어서 ‘나쁜 인용'이나 ‘좋은 저널'로 쌓인 실적은 ‘과거’ 일뿐이다. 앞에 떨어진 난제를 해결하는 본인의 실력이 ‘현재’이고, 그의 실력 있는 제자들이 ‘미래’이기 때문이다. 실적 좋고 실력 없는 가짜 석학에겐 과거는 있을지라도 현재와 미래는 없다. 실적 좋고 실력 없는 가짜 석학을 우리는 ‘폴리페서’, 혹은 ‘폴리서처’라고도 부른다. 이들이 일종의 ‘대행사’ 성향의 무늬만 학자에 다름 아니다. 우리 내부의 문제를 먼저 솔직히 인정하고 무엇이 중요한지 다시 검토하고 나가도록 하자.

중요한 것은 ‘속력이 아니라 방향’이다. 이제라도 하나씩 고쳐 미래의 방향을 잘 잡아가도록 하자.