아 이거 왜 이제 알았지.. 3
연구 주제만 다른 게 아니라 작성 스타일도 다르다
보통 ML 연구를 하다 보면 처음에 약간 모달리티 기반으로 자기 분야를 잡고는 한다.
나는 Computer Vision (CV) 전문! 나는 Natural Language Processing (NLP) 전문!
위의 두 분야가 이 모달리티 개념에서는 큰 두 축이고, 더 많은 다양한 분야가 존재한다.
그래서 탑티어 학회들이 이제 우리가 일반적으로 생각하는 ICML/Neurips/CVPR/ICLR 이러한 4 대장들이 가장 높은 영향력을 갖기도 하지만, 특정분야에 조금 더 집중된, 그리고 그 분야 안에서의 탑티어 학회들도 존재한다.
Paper Copilot 웹사이트에서 보여주는 Conference들물론 우리가 어디 회사나 학교에 지원을 했을 때, 분야에 상관없이 절대평가를 하지는 않고, 채용하고자 하는 포지션에서 중요한 분야면 그냥 동급으로 치는 분위기가 있다. (내 체감은 그렇다)
예를 들어, SIGIR가 좋냐 ICCV가 좋냐라고 물어봤을 때, 단순 비교하면 ICCV가 좋겠지만, 두 분야가 완전 다르기 때문에 공정한 비교는 어렵다.
나는 연합학습을 주로 연구했는데, 이 연구의 유의미한 논문들은 위의 4 대장과 ICCV 같은 학회에서 주로 나온다. (물론 연합학습의 또 어떤 하위 분야로 썼느냐에 따라 다르지만..)
그런데 만약 분야가 다르기 때문에 서로 동급으로 쳐주는 상황이라면, 기왕이면 가성비를 생각해서 조금 더 쉬워 보이는 컨퍼런스로 내는 게 좋지 않을까?라는 생각을 많이 했었다.
더 정확하게는, 이걸 사람들이 알고 있을 텐데 왜 그렇게 하지 않을까? 왜 다들 고난의 길을 걸으려고 하는 걸까?라는 생각이 오랫동안 해결되지 않았었다.
분야만 다른 게 아니라 스타일도 다르다.
한창 탑티어 학회에서 계속 Reject을 먹으면서, 뭐가 문제인지를 파악하기 위해 다양한 탑티어 학회에 우수 논문 (Oral, Spotlight)들의 구조를 분석하기 시작했다.
내 전략은 뭐였냐면, 지금 내 기존 아이디어와 방법론에 이들이 논문을 쓸 때 사용했던 구성요소들을 비슷한 수준까지 맞춰서 논문을 완성하자였다.
일단 나는 연합학습 위주로 연구를 하니 몇 가지 논문들을 살펴봤는데, 이런저런 글솜씨가 필요한 부분 빼고는 수렴 분석이라는 이론적 분석과, 다양한 벤치마크에서 다양한 모델들을 사용한 성능 측정이 핵심이었다.
일단 후자는 모델이나 데이터만 갈아 끼우면 돼서 할 수 있었는데, 저 수렴분석을 하는 방법을 도저히 알 수가 없었다. 그래도 결국에는 공저자랑 어찌어찌해서 수렴분석의 일부분이라도 하기는 했는데, 이게 가성비가 너무 떨어지는 연구 같은 느낌을 지울 수가 없었다.
그래서 다른 분야의 연구들도 이렇게 고생을 하나 봤더니 꼭 그렇지만 않더라.
대표적으로 CV의 생성형 모델 쪽은 어느 정도 수학공식이 있기는 하지만, 대부분 큰 이미지 Figure로 약간 정성적 비교를 많이 하는 듯했다. (물론 벤치마크 성능 비교는 당연히 있고)
그리고 뭔가 엄밀한 이론적 분석이라기보다는 약간 직관에 가까운 논리들이 많았다.
NLP 분야도 마찬가지였는데, 여기는 수학공식은 더 적었고, 다양한 사례 기반의 다양한 벤치마크들이 더 중요했다. 특히 시나리오 기반으로 설득하는 인상을 많이 받았다.
그리고 우리 학교 옆 랩실이 SIGIR 쪽을 자주 내는데, 이쪽은 음 뭐랄까.... 글이 너무 많다고 해야 할까??
(특히 Research Question이란 것들을 초반에 나열하고 후반에 회수하는 스타일이 좀 멋있지만... 이게 회수가 된 애들을 나중에 다시 나열하는 건지, 처음부터 회수될 거라는 믿음이 있어서 나열한 건지, 아니면 진짜 정공법으로 회수를 한 건지에 대한 의문이 조금 있다.)
이렇게 여러 분야 논문들의 구성요소들을 분석해 본 결과 나는 처음에 너무 불공평하다는 생각을 많이 했다. 누구는 수렴분석으로 Appendix 20페이지씩 추가하는 연구들과 경쟁하는데, 누구는 그냥 큰 이미지 몇 개, 아니면 시나리오 몇 개, 아니면 긴 설명 이런 걸로 그들이 말하길 탑티어 학회에 붙는데, 이게 과연 가성비가 맞는 연구인가... 나도 저쪽으로 넘어가야 하는 게 아닌가?라는 생각을 많이 했다.
이걸 또 대놓고 물어보기가 좀 어려웠던 게, 약간 상대방 또 그들의 연구분야를 무시하는 뉘앙스가 섞여 있기 때문에 뭔가 명쾌한 해답을 들을 수 있도록 하는 직설적인 질문을 하기가 어려웠다.
수식이 없다고 쉬운 연구가 아니다.
이 불공평하다는 불만을 갖고 있는 채로 박사 과정을 3년 동안 하다 보니, 수식이 없다고 꼭 쉬운 연구가 아니라는 것을 깨달았다.
세상 모든 일이 그렇듯, 초반에 일시적으로는 날로 먹는 경우가 있을지언정, 시간이 지나면 주변의 사람들이 냄새를 맡고 모두 달려들어서 어느 순간 그 분야 또한 과공급이 일어나는 시점이 발생한다. 그러면 이 시점에서 제한된 연구들을 합격시키려면 자동적으로 Bar를 올려야 하는데, 이 과정에서 차이가 발생하기 시작한다.
다시 앞서 말한 SIGIR의 논문들을 보면, 말이 엄청 많은데, 이게 그냥 양 채우기 말이 아니라 뭔가 문과적 감성 또는 경영학과의 감성으로 독자들을 설득하려는 요소들이 잔뜩 있다.
뭔가 큰 문제가 아닌데, 큰 문제인 것처럼 논리적으로 전개해 나가는 것들과, 평가가 어려운데 우리의 평가지표가 적절하다는 설득, 또 각종 전통 통계적 수치들을 기반으로 한 정당화 등. 내 기준에서 봤을 때 약간 번거롭기도 하고 기존 지식이 좀 많아야 할 수 있는 작업들이 많았던 것 같다.
그래서 개인적으로 평가하자면, 기술적 난도가 높다고는 할 수 없는데, 연구적 완성도는 높은 논문들이 많았다. 다들 탄탄했다.
그래서 오히려 나보고 저 빽빽하게 안정화된 분야에 족적을 남기기 위해 그 틈을 파고들라고 하면 오히려 어려울 것 같다는 생각이 들었다.
그리고 설사, 한번 어찌 파고들었더라도, "저걸 계속할 수 있는 역량을 나는 키웠나?", "키우고 싶나?" 라는 생각을 하게 되면서, 그들 나름의 고충이 있을 거라는 결론에 도달했다.
물론 이 글을 저기 관계자들이 봤을 때 상당히 기분 나쁠 수도 있겠다만...
(반대로 생각해 보면, 그들 관점에서는 나의 영역은 그냥 대충 아무거나 제안하고 증명만 잘하면 되잖아?라고 이야기 할 수도 있을 것 같다.)
그래서 정통 공돌이 관점에서 보면 몇몇 연구분야는 오히려 컨설팅에 가까운 느낌이 드는 연구 분야도 있는데, 그렇다고 해서 쉬운 것도 아니고, 쉽다고 한다면 더 많은 경쟁자가 있을 것이고, 그러면 자연스럽게 Bar는 올라가며 그 경쟁에서 살아남기 위해서는 어떤 식으로든 또 다른 똥꼬쇼를 논문에 녹여내야 하는 건 매한가지라는 것이다.
이때 본인의 성향을 고려했을 때, 단순 모달리티가 아닌, 분야들이 요구하는 언어가 자신의 성향에 더 맞는 분야가 있을 수 있고, 그게 맞아떨어진다면 재밌고 수월한 연구가 될 수 있을 것 같다. (반대라면 그만한 고문도 없을 것이고..)
그럼 우리는 우리가 익숙한 언어를 쓰는 분야를 고를 것인가? 우리가 익숙해지고 싶은 언어를 쓰는 분야를 고를 것인가?
Photo by Joshua Hoehne on Unsplash