(4) 자그마한 훈장을 달다
연구 업계로 편입된 지 어언 3년째.
드디어 나에게도 훈장이랄 것이 생겼다
며칠 전 올해 내내 매달렸던 논문 작업에 마침표를 찍었다. 태어나 처음 제출해 본 논문이 국제 학술지 저널에서 마침내 억셉(accept)된 것.
아직 출판 전이지만 1 저자로서 독자적인 학술 능력을 인정받은 듯하여 뿌듯하고 기쁘다.
맨 처음 논문을 작성한 시점은 올해 3월이었다. 당시 친구와 함께 졸업여행으로 약 2주간 스페인 포르투갈에 갔었는데, 도시 간 이동과정 중 달리는 기차 안에서 졸음을 참으며 원고 초안을 작성했던 기억이 난다.
왜 그렇게 무리했을까 돌이켜보면, 2년이나 매달려있던 연구 주제가 지겨워 얼른 마무리하고 재빨리 다른 연구로 넘어가고 싶은 마음이 컸던 것 같다.
언어모델 연구는 필연적으로 프롬프트(prompt)를 여러 차례 수정하면서 모델과 대화해 봄으로써 해당 모델이 가진 기본 지적 수준과, 모델별로 더 잘하는 과업등을 알아가게 된다.
(아 다르고 어 다르다는 말처럼 아주 정말 미세한 기호, 단어, 표현 배합의 차이가 출력 답변의 품질에 영향을 주는데, 포롬프트/콘텍스트 엔지니어링이 괜히 아트의 영역이 아닌 것 같다. 실제로 인문학, 언어학, 철학 쪽 전공하신 분들이 프롬프트를 짜면 더 좋은 결과가 나오기도 한다.)
학위 당시엔 선택할 수 있는 오픈소스 LLM의 폭이 굉장히 제한적이었는데, 졸업할 수 있다는 희망을 갖기엔 그 당시 백본 모델(Llama 2 기반)들의 한국어 성능이 너무 절망적이었다.
그나마 졸업 준비를 시작할 때쯤(석사 1년 차 10월 정도 즈음) 타 랩 선생님들께서 만들어주신 한국어 LLM이 많이 등장해서 파인튜닝(Finetuning, 미세조정이라고도 하며 정답이 라벨링 된 데이터셋을 통해 모델을 훈련 시키는 기법을 일컫는다)을 시도해 볼 수 있었는데, 그럼에도 일반 도메인으로 학습되어 임상 지식이 거의 없는 중학생 수준의 모델한테 온갖 한국어와 의학약어, 의학용어가 섞여 있는 전처리 되지 않은 실제 의무기록을 이해시키고, 일하는 방법을 가르쳐주는 과정엔 많은 인내심과 눈물겨운 노가다가 필요했다.
처음 파인튜닝을 했을 때 원하는 만큼 성능이 개선되지 않는 걸 보면서 과연 점차 나아질지, 내가 진짜로 졸업을 할 수 있을지 참 많이 불안에 떨었던 것 같다. (설상가상으로 내가 개발한 모델이 국책과제 성과물에 잡혀있었고, 그 해가 평가년도여서 과제가 잘릴까 봐 많이 무서웠다..)
모델을 더 똑똑하게 학습시키기 위해 데이터셋을 여러 차례 엎어가며 파인튜닝 된 모델이 출력하는 output을 보며 모델의 사고방식을 따라가려 애썼고, 마침내 좋은 라벨링 기준을 찾아 목표했던 성능을 달성했을 때는 감격의 눈물을 흘렸다.
그런데 웬걸, 정말 다시는 쳐다보기도 싫을 정도로 전념을 쏟았다고 생각했을 때 저널용으로는 method가 너무 광범위하여 핵심 가설과 논지의 방향을 하나로 좁히면서 데이터셋의 라벨링을 다시 한번 수정해야 했다.
너무 절망스러웠는데, 자잘한 변경까지 포함하면 총 10번 안 되게 데이터셋 수정 작업을 진행했었고 같은 데이터라면 두 번 다시는 쳐다보기 싫을 정도로 신물이 나 있었기 때문이다.
천신만고 끝에 재실험 후 7월 경 투고를 했으나, 몇 차례의 리비전 과정이 있었다.
유리 같은 내 멘탈이 터질 때마다 옆에서 거의 다 왔다고 어르고 달래주고 응원해 주던 내겐 은인과도 같은 2 저자의 지지와 도움이 없었더라면 올해 내 승인은 결코 꿈도 꾸지 못했을 것이다.
논문 투고 과정을 모두 겪어보니 첫 술에 배부르려 했던 내가 얼마나 오만했는지 깨닫게 된다.
처음에는 내 논지가 전부 옳은 것 같고, 이 정도면 가장 최상위 저널에 무조건 억셉될 것 같은 근거 없는 자신감이 있었으나, peer-review를 받아보면서 나의 주장이 얼마나 많은 허점과 bias를 갖고 있는지 알게 됐다.
심지어 여행 중 기차 안에서 졸음을 참아가며 적었던 introduction 부분은 여러 번의 수정 과정을 거치면서 결국 완전히 다른 구조를 갖게 됐다.
목표했던 최상위 SCI급 저널 대신 한 단계 낮은 자매지로 transfer 권유를 받았을 땐, 당시엔 잘못 지은 타이틀로 인한 오해 때문에 정책 상 거절된 거라고 많이 아쉬워했지만 지금 와서 돌이켜 보면 과연 제목을 잘 지었어도 내가 적은 빈약한 초안이 최상위 저널지의 높은 문턱을 통과할 수 있었을까 싶다.
오히려 여러 번의 더 엄격한 peer-review를 받으면서 여러 차례 희망고문을 받다가 요건을 충족하지 못한 채 시간만 날렸을 수 있다. 투고 당시 너무 지쳐있었기 때문에, 여러 리뷰어의 원투쓰리포 펀치에 넉다운되어 수정 작업을 엄두도 내지 못하고 자신감을 잃었을 수도 있다.
무엇보다 내 성과에 우쭐해지고 교만해졌을 수 있다. 이는 어찌보면 불행일 수 있는 게, 가장 처음에 억셉된 곳이 내 분야에서 가장 좋은 저널이라면 앞으로는 내려갈 일 밖에 없기 때문이다.
이런 점들을 볼 때 초보 연구자로서 성장 중인 겸손을 배울 필요가 있는 나로서는, 똑같이 성장 중인 ESCI(Emerging SCI)급인 지금의 자매지도 충분히 어려운 곳이었고, 의미있는 성과를 남긴 것 같아 만족스럽다.
나중에 시니어 연구자로 성장했을 때 첫 논문을 받아준 이곳도 같이 성장해서 SCI로 승격된다면 더할 나위 없을 것 같다.
한 가지 신기했던 건, 전 회사에서 해왔던 심사의견을 반영하여 규정에 맞게 문서를 수정하고 심사의견에 대한 답변서를 남기는 일이 논문 revision 및 답변서를 준비하는 과정과 비슷하여 익숙하게 느껴졌다는 거다.
어렵지 않게 리뷰어의 의도에 맞춰 포인트를 집어냈고, 막막한 상황에서도 어떻게든 갈피를 잡아갔는데, 경력으로 쌓아온 지혜와 경험치가 톡톡히 제 몫을 해주는 게 느껴졌다.
그리고 논문 Acknowledgement 부분에 내 연구 결과가 성공적으로 나왔을 때 누구보다 기뻐해주시고 자신의 일처럼 축하해 주셨던 우리 연구실 선생님들을 언급할 수 있어 행복했다.
또한 description 과정에서 중심을 잃지 않도록 지도해 주신 우리 교수님과, 악마처럼 보였지만 결국 논문의 퀄리티를 크게 개선시켜 준 리뷰어 덕분에 무사히 논문을 마무리 지을 수 있었다.
마지막으로 수정 작업 전반에 있어 함께 고민해 주고 조언해 준 2 저자 친구에게 가장 큰 감사를 전하고 싶다.
- 2025.11.08. 여러 개의 훈장에도 한결같은 시니어 연구자로 성장하길 소망하며.