영향력 지수(Impact Factor)와 과학연구 평가

영향력 지수(IF)가 주는 오해와 문제들

  과학 연구의 가치를 평가하려면 전문성이 필요하다. 연구 평가는 돈과 인력이 많은 미국에서도 만만찮은 과제지만, 우리 나라처럼 인구가 적으면 합당하고 공정한 평가가 더 어렵다. 과학의 분야가 다양하고, 하나의 분야 안에도 여러 세부 전공이 있어서 자기 세부 전공이 아니면 잘 알기가  어렵기 때문이다.

  그래서 저널에 실린 논문들이 얼마나 많이 인용되는가를 반영하는 지표인 저널 영향력 지수(Impact Factor)가 연구 평가에 참고되곤 한다. 하지만 영향력 지수는 자금과 인력이 얼마나 많이 몰리는 분야인지에 따라서도 달라진다. 영향력 지수가 가장 높은 저널은 어디일까? <사이언스>? <네이처>?

 영향력 지수가 가장 높은 저널은 <사이언스>도 <네이처>도 아닌 <뉴잉글랜드 의학 저널(New England Journal of Medicine; NEJM)>이다 (링크). 이것은<뉴잉클랜드 의학 저널>의 과학적 가치가 <사이언스>나 <네이처>보다 뛰어남을 뜻할까, 아니면 의학 산업의 규모를 암시할까?

 단언하기 어렵다. 하지만 영향력 지수가 인기는 없으나 꼭 필요한 분야를 평가 절하하는 효과가 있음을 잘 보여준다. 영향력 지수(Impact Factor)가 높은 저널에 실리는 논문은 대체로 다수의 과학자가 지지하는 논문이지만, 반드시 그렇지는 않다. 그래서 네이처나 사이언스에 논문이 실리고 나면, 다른 의견을 가진 과학자들의 반박 논문이 뒤이어서 실리기도 한다.

 공개 접근형 저널(open-access journal)이냐 아니냐도 영향을 미친다. 공개 접근형 저널에 실린 논문은, 비싼 구독료를 내지 않고도 누구나 읽을 수 있기 때문에 인용이 많이 되는 경향이 있다(링크)

 경쟁이 심한 탓인지, 영향력지수가 높은 높은 저널일수록, 실험 결과가 재현되지 않아서 철회되는 비율이 높기도 하다. (링크) 2014년에 많은 논란을 일으켰던, 오보가타의 줄기 세포 논문이 그런 경우였다. 다른 과학자들이 실험해 본 결과, 오보가타의 결과가 재현되지 않았기에 논문이 철회되었다.

 저널 이름만 보고 알맹이를 따져보지 않으면, <네이처>에 실린 칼럼을 <네이처>에 실린 논문으로 착각하고, 칼럼에 논문 수준의 평가를 하기도 한다.

왼쪽: Correspondence는 논문이 아닌 칼럼으로 한쪽도 채 되지 않는다.  오른쪽: Article이 진짜 연구 논문이다. 짧은 Letter논문도 2쪽은 넘는다.

 전공별 전문가가 많지 않은 상황에서 공정한 심사를 하려다 보니 객관적인 지표인 영향력 지수(IF; impact factor)를 사용하게 된 측면도 있을 것이다. 하지만 위와 같은 이유들 때문에 영향력 지수(IF;impact factor)와 저널의 네임 밸류만으로 연구와 연구자를 평가해서는 안 된다.