어떤 사람이 연구를 잘하는가?

정량평가, 정성평가 모두 필요하다

훌륭한 야구 선수는 어떤 선수일까? 투수라면 방어율이 낮은 선수이겠고, 타자라면 홈런을 많이 치거나, 타율이 높은 선수가 좋은 선수일 것이다. 출루율과 장타율을 더한 OPS(On-base Plus Slugging)이라는 값도 타자를 평가하기 위해 널리 쓰이고 있다. 선수가 뛰고 있는 리그도 고려해야 할 것이다. 미국 메이저리그에서 뛰는 선수와 한국 KBO 리그에서 뛰는 선수를 방어율이나 OPS만을 이용해서 동일선상에서 비교해서는 안 될 것이다.

그렇다면 연구자는 어떻게 평가할까? 다양한 지표가 있겠지만, 가장 중요한 것은 결국 연구자가 출판한 논문들일 것이다. 세상에는 다양한 저널들이 있는데, Nature나 Science, Cell 같은 저널들은 9시 뉴스에 나오기도 할 정도로 유명한 저널들이다. 이런 유명한 저널에 논문을 출판하면 좋은 연구자라고 생각할 수 있을 것이다. 마치 프리미어리그에서 뛰는 축구 선수가 좋은 선수일 확률이 높듯이 말이다.

그렇다면 어떤 저널이 좋은 저널일까? 아마 피인용 지수(impact factor)가 가장 유명한 정량 지표일 것이다. 줄여서 IF라고 많이 쓴다. 유진 가필드(Eugene Garfield)가 1955년에 고안했다고 하며, 지금은 Clarivate Analytics에서 매년 발표하고 있다. 어떤 특정 연도에 출판된 논문들이 이전 2년 동안 평균적으로 몇 번 인용되었는지 계산한 값이다. 아무래도 이 값이 클수록 더 좋은 저널일 가능성이 높다. 그러나 모든 저널을 IF만으로 평가할 수는 없는데, 연구 분야에 따라서 한 해에 평균적으로 쓰는 논문의 수가 다르고, 논문 하나에서 인용하는 다른 논문들의 수 역시 다르기 때문이다. 연구 분야가 크면 클수록 IF가 높은 경향이 있다. 그래서 Clarivate Analytics에서는 분야별로 IF 순위를 따로 집계하며, 한국에서는 기관에 따라 분야별 상위 10%나 상위 1% 저널을 특별 대우하기도 한다.

저자가 참여한 논문들이 인용받은 횟수를 모두 다 더할 수도 있을 텐데, 이 값을 총인용수라고  부른다. 이 값이 크다면 논문들이 전 세계에 널리 알려진 것일 테니 훌륭할 연구자일 확률은 높을 것이다. 그러나 IF와 마찬가지로 절대적인 지표는 아니다. 공저자 수가 적은 연구자는 총인용수가 적을 수밖에 없지 않겠는가? 이 값은 또한 제1 저자나 교신저자와 같은 주저자로 참여했는지, 아니면 공저자로 참여했는지 구분하지 않는다.

h-index라는 값도 많이 쓰인다. h-index가 자연수 n인 저자는 n번 이상 인용된 논문이 n개 있는 것이다. 가능한 n 가운데 가장 큰 값이 해당 저자의 h-index가 된다. 예를 들어 h-index가 10이라면 10번 이상 인용된 논문이 10편 있는 것이다. 10번 이상 인용된 논문이 11편 있더라도 모든 논문이 11번 이상 인용된 것이 아니라면, 이 연구자의 h-index는 10이 된다. 이 값은 필연적으로 누적이 될 수밖에 없으므로, 연구 경험이 많은 사람이 평균적으로 높은 값을 가진다. 따라서 젊은 연구자와 나이 든 연구자를 비교할 때는 좋은 지표는 아니다.

한국에서는 위의 값들을 활용한 복합지표를 많이 사용하고 있다. 예를 들어 저자 수와 주저자 여부를 이용해서 환산 편수를 계산하고, 이 값을 IF에 곱할 수 있을 것이다. 최근 2~3년에 출판된 논문들에 대해 이 값을 구하고, 다 더해서 연구자를 평가하는 경우가 잦다. 그러나 이 역시 하나의 지표일 뿐이다. 어느 한 가지 지표로 모든 연구자를 평가하는 것은 매우 위험하다. 그래서 약간은 무책임해 보이지만, 여러 지표를 두루 살펴보는 것이 좋아 보인다.