연구의 다양성에 대한 인지가 부족했다
이제 박사과정 계약이 한 달 조금 넘게 남았다.
학위 논문은 1월 말쯤 제출할 예정이다.
다른 나라에서 박사를 해본 적이 없어 잘 모르겠지만, 노르웨이에서의 박사과정은 직장과 학위 과정이 병행되는 느낌이다.
일단 펀딩을 받는다는 관점에서는 직장인이기도 하지만, 몇 가지 코스워크를 이수하고 학위 논문을 쓴다는 관점에서는 학생이기도 하다.
(비자 상으로도 학생비자가 아니라 취업비자다.)
그래서 내 펀딩 계약은 2월 초에 종료되고, 이상적으로는 그 전에 학위 논문을 제출하거나, 사실 디펜스까지 하면 최고긴 하다. 하지만 안 그래도 3년이라는 기간이 짧은데, 그 전에 디펜스까지 하기에는 엄청 (출판을) 잘했거나 기준이 꽤 여유로운 경우다.
펀딩 기간 안에 논문 제출이나 디펜스를 하지 못해도 괜찮다. 박사과정 시작 후 6년 안에만 마무리하면 된다. 물론 그 이후의 생활비는 따로 취업을 해서 벌어야겠지만.
그리고 사실 학위 논문을 제출하는 순간, 거의 디펜스는 끝났다고 보는 암묵적인 분위기가 있다. 왜냐하면 다른 포닥 포지션 공고를 보면, 아직 디펜스를 하지 않은 지원자에게도 학위 논문 드래프트 제출을 요구하는 경우가 많다. 즉, 제출했거나 제출에 근접한 상태라면 거의 끝난 것으로 보는 것 같다.
2022년 12월 6일에 시작했으니 이제 딱 3년이 지났는데, 왜 이렇게 연구에서 고생을 했는지, 그리고 무엇을 더 잘했어야 했는지를 한 번 정리해 보고 싶어 이 글을 쓰게 되었다.
물론 지도 부재, 의논할 동료의 부재, 쓸데없는 잡무와 같은 외적인 요소들도 있긴 하다. 하지만 이런 것들은 전 세계 박사생이라면 한두 개쯤은 다 갖고 가는 핸디캡이기도 하고, 누가 더 혹독한 환경이었는지를 비교하기 시작하면 끝이 없으니 여기서는 생략하기로 하자.
모든 내용은 내 전공(AI/ML/CS) 기준이다.
박사과정을 막 시작했을 때, 내가 알고 있던 논문 스타일은 딱 두 가지였다.
방법론 제안(가장 일반적인 형태)
서베이
그런데 막상 연구를 하다 보면, 이 두 가지 틀에 정확히 맞지 않는 방향으로 흘러갈 때가 있다.
일단 새로운 방법론을 제안하려면, 기존에 잘 정의된 문제가 있어야 한다. 이게 없으면 내 방법론이 기존 연구보다 더 우수하다는 비교 자체가 애매해져서 페이퍼를 쓰기가 어렵다.
그렇다면 문제 정의를 내가 함께 진행하면 되긴 한다. 하지만 이게 학계의 공감을 받으려면 굉장히 정성스럽고 촘촘하게 정의해야 한다. 왜 이 문제가 중요한지, 이 문제의 구성 요소는 무엇인지, 그리고 최종적으로 무엇을 최적화하려는 문제인지까지 모두 설명해야 한다.
이렇게 생각을 확장해 나가다 보면, 연구가 어느 순간 내 역량으로 감당하기 어려운 단계로 넘어가게 된다. 문제 정의를 하기 위해서는 기존 문제들과의 차별성을 설명해야 하고, 그러려면 학계에서 통용되던 수많은 기존 문제들을 어느 정도 파악하고 있어야 한다. 박사과정을 막 시작한 사람 입장에서는 사실상 불가능에 가깝다. 그래서 이 시점에 좋은 지도교수와 함께하고 있다면, 신선하면서도 질 좋은 논문을 비교적 수월하게 쓸 수 있다.
문제 정의를 잘했다고 치자. 그러면 이제 실험을 위한 데이터셋이 필요해진다. 기존의 벤치마크 데이터셋을 재구성해서 사용할 수 있다면 그나마 수월하겠지만(물론 이 재구성에 대한 정당화에도 또 많은 에너지를 써야 한다), 만약 새로운 데이터셋을 직접 확보해야 한다면 일이 너무 커진다. 이쯤 되면 최초의 아이디어는 폐기되고, 해당 연구 주제는 Overleaf 제일 하단으로, ‘2년 전 수정’이라는 마크를 달고 내려가게 된다.
“뭘 그렇게 복잡하게 생각해? 그냥 기존에 잘 정의된 문제들에 네 방법론 여러 개 내서 논문 쓰면 되잖아? 계속 SOTA 찍으면 되는 거 아니야?”
(“왜 우울증에 걸려? 그냥 행복하면 되잖아?”)
이게 가능하다면 가장 속 편한 방향이긴 하다.
하지만 전 세계의 수많은 연구자들이 같은 문제를 바라보고 있는데, 내가 무슨 이신바예바도 아니고 혼자서 세계 기록을 지속적으로 갱신할 수 있을 리가 없다.
게다가 어느 정도 성숙한 분야가 되면, 리뷰어나 학계는 단순히 성능이 조금 더 좋다는 이유만으로는 만족하지 않는다. 더 정교한 이론적 증명, 더 신선한 실험적 설계, 그리고 더 많은 벤치마크에서의 우수성 입증을 요구한다. 이 단계부터는 ‘왜 잘되는지’, ‘정말로 잘되는지’를 증명하는 데 엄청난 에너지를 쓰게 된다.
그래서 어떤 문제를 미국의 유명 랩실에서, 그것도 대가 교수 밑의 박사생이 처음 제안했다면, 초반 세 번째 SOTA 알고리즘 정도까지는 “성능 더 좋음!”이라는 설명으로 얼렁뚱땅 넘어갈 수도 있다. 하지만 이 흐름을 따라잡으려면 계속 최신 논문을 파악하고 있어야 한다. (그래서 또 지도교수나 주변 동료들의 구성이 중요해진다.)
결국 해당 주제에서 더 이상 SOTA 경쟁을 할 수 없다고 느끼는 순간, 다시 ‘기존에 없던 문제 정의 + 방법론 제안’이라는 무한 루프에 빠지게 된다.
몇몇 데이터 마이닝/IR 학회들(SIGIR, WWW, KDD, CIKM, ECIR)을 보면, full paper 외에도 다양한 서브 트랙이 존재한다.
Call for Papers에 나온 공식적인 설명이 아니라, 내 감에 따른 정의를 내려보자면 다음과 같다.
기존 SOTA 경쟁에 뛰어들고 싶긴 한데, 최종 성능 외의 설명이 아직 애매한 경우에 적합하다. 혹은 문제 정의가 조금 모호할 때, 그 정의 자체를 정리해서 4페이지 정도의 short paper로 내는 것도 괜찮다. 약간 순발력 싸움에 가까운 트랙이다.
앱, 웹, 혹은 어떤 툴을 만들었는데 “이게 과학인가?” 싶은 경우에 적합하다. 시스템 구조를 잘 설명하고 “이런 상황에서 쓰면 된다”는 활용 시나리오를 잘 어필하면 된다. 개발을 좋아하는 사람들에게 특히 잘 맞는다.
벤치마크 데이터셋이 없어 연구를 진행하기 어려운 경우, 데이터셋 자체를 만들어 논문으로 낼 때 유용하다. 특히 LLM 시대에 평가 지표의 공정성 문제가 대두되면서, 이 트랙의 중요성은 점점 더 커지고 있다.
어떤 분야의 대가나 몽상가들이 쓰기에 좋은 트랙이다. 새로운 연구 문제를 정의하고, 간단한 구현을 통해 드러나는 한계점을 제시한 뒤 “이걸 후학들이 잘 해결해 주면 좋겠다”는 메시지를 던지는 형태다. 문제 정의를 스스로 했기 때문에 기존 SOTA와의 직접 비교는 어렵고, 기본적인 베이스라인 구현 정도만 있어도 충분하다.
이런 서브 트랙으로 논문을 내면, 리뷰어들에게 ‘이 연구가 어떤 가치를 가지는지’를 어느 정도 공유한 상태에서 출발할 수 있다. 그래서 “그래서 하고 싶은 말이 뭐냐?”라는 질문을 사전에 차단할 수 있다.
물론 이런 트랙들이 full paper와 동등한 위상을 갖는지에 대해서는 의문이 들 수 있다. 나 역시 처음에는 full paper가 아니면 의미 없다고 생각했다. 하지만 실제로 산업계나 학계에서는 크게 신경 쓰지 않는 분위기인 것 같다.
물론 이런 트랙들로만 CV가 채워져 있다면 “이 연구자는 완성도 높은 연구를 끝까지 끌고 가 본 경험이 없겠구나”라는 인상을 줄 수도 있다. 하지만 그런 평가는 실제로 모든 페이퍼를 꼼꼼히 읽고 매우 비판적으로 분석해야만 나올 수 있는 인사이트다. 그리고 그 분석의 대상이 되었다는 것 자체가 어느 정도는 성공했다고 볼 수도 있다.
아, 그리고 당연히 난이도는 full paper에 비해 낮다. (억셉 확률도 높다.)
그래서 특히 박사생의 경우, 이런 서브 트랙들을 잘 섞어서 본인 학위 논문의 서사를 완성하는 데 활용하면 좋겠다는 생각이 든다.
나는 그동안 이런 하위 트랙들을 은근히 무시해 왔는데, 그 이유는 아마도 고전적인 한국식 논문 점수 매기는 방식에(한국에 있지도 않으면서) 영향을 많이 받았기 때문인 것 같다. 이러한 서브트랙들이 약간 기존의 워크샵들이랑 비슷해서 워크샵 논문들을 크게 안쳐줬던 기억 때문에 반감을 가진것 같다.
유럽 쪽 분위기는 이런 부분에 크게 신경 쓰지 않는 편이다. 그리고 개인적으로는 별로 좋아하지 않는 역량이긴 하지만, 학계 내 네트워크를 키우기 위해서는 이런 서브 트랙을 통해서라도 해당 학회에 가서 얼굴을 트는 것이 중요해 보인다.
사실 지도교수들이 이런 점을 더 장려해 줘야 하지 않나 싶다. 모두가 ICML/ICLR/CVPR/NeurIPS 풀 페이퍼만 노리게 하는 건 학생들에게 너무 가혹하기도 하고, 연구 주제뿐 아니라 연구 방식의 다양성까지 저해하는 요소가 아닐까.
(물론 우리 교수님은 저 학회들을 잘 몰라서 그런 압박을 주지는 않았다.)