AI 작성 논문이 ICLR워크샵에 게재 확정되었습니다.

AI 작성 논문이 피어리뷰를 통과하여 게재 확정된 최초의 사례

by BH

Mar 17. 2025

AI 작성 논문이 피어리뷰를 통과하여 게재 확정된 최초의 사례

지난 2025년 3월 12일, 사카나는 AI사이언티스트-v2(The AI Scientist-v2)가 작성한 논문이 2025년 ICLR 워크샵 ICBINB를 통과(Accepted)했다고 밝혔습니다. 이는 완전히 AI로만 작성된 논문에 피어리뷰 과정을 통과한 세계 최초의 사례입니다.

AI사이언티스트는 연구 아이디어 제안, 실험, 논문 작성으로 구성된 학술 연구를 자동으로 수행하는 AI 시스템이다.

AI사이언티스트는 연구 아이디어의 제안부터 실험, 논문 작성에 이르는 학술 연구 과정을 자동화한 AI 시스템입니다. 사카나AI는 이 시스템의 역량을 검증하기 위해 ICLR 주최측과 ICBINB 워크샵 위원회와 사전 논의하여 논문을 제출했으며, 심사 과정에서 리뷰어들에게도 'AI 저작 논문이 제출되었다'는 정보가 사전 공지되었습니다. 단 어떤 논문이 AI가 작성한 논문인지는 전달되지 않았습니다. 사카나AI는 총 3건의 논문을 제출하였고, 그중 1건이 통과(Accepted)되어 게재 확정되었습니다. 그러나 윤리적 고려사항으로 인해 출판 전 논문 제출을 철회하였습니다.

ICLR 컨퍼런스는 AI 및 머신러닝 분야의 탑 티어 컨퍼런스 NeuralIPS, ICML, ICLR 중 하나입니다. 사카나AI가 제출한 곳은 ICLR 컨퍼런스가 아닌 ICLR 워크샵 ICBINB로, 컨퍼런스에 비해서는 낮은 경쟁률을 보입니다. 그러나 본 컨퍼런스와 마찬가지로 더블 블라인드 피어리뷰가 진행된다는 점은 동일합니다. 2025년 ICBINB 워크샵의 논문 채택률(Acceptance Rate)은 67.4%였으며, 본 컨퍼런스인 ICLR 2025의 채택률은 31.2%였습니다.

ICLR 워크샵 ICBINB에 게재 확정된 사카나AI의 AI사이언티스트가 작성한 논문

AI사이언티스트가 작성한 논문의 제안 방법

사카나는 AI가 생성한 다수의 논문 중 완성도와 주제 적합성을 기준으로 상위 3편을 선별했습니다. 이후 NeuralIPS, ICLR, ICML 수준의 기준으로 내부 평가를 진행했으나, 인용 오류, 실험 재현성 문제, 소스코드 결함 등으로 인해 본 컨퍼런스 제출에는 미흡하다고 판단하여 워크샵으로 방향을 전환했습니다.

워크샵에서 최종 채택된 논문은 "Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization"입니다. 인공신경망의 일반화(Generalization) 능력을 강화하기 위해 학습 과정에서 손실 함수(Loss Function)에 정규화 항(Regularization Terms)을 추가하는 방법을 다룹니다. 손실 함수에 정규화 항을 적용하여 인공신경망 전체의 일반화 능력이 강화될 것이라는 가정으로 진행된 실험입니다. 그러나 실험 결과는 부정적이었으며, 추가된 연산 부담과 연산 복잡성의 증가로 인해 오히려 모델의 일반화 성능이 저하되는 현상이 관찰되었습니다.

AI사이언티스트는 손실 함수에 정규화 항을 추가하는 방식으로 인공신경망의 일반화 수준이 높아질 것으로 가정하여 실험했다.

AI사이언티스트가 작성한 논문의 한계점

AI사이언티스트가 제안한 접근법은 스케일링 패러다임의 AI 모델과는 잘 맞지 않는 휴리스틱 방식에 가깝습니다. 특히 은닉 상태(Hidden State) 간의 시간적 차이를 유클리드 거리로 정규화하는 방식은 매우 고전적인 접근법으로, ICLR이라는 네임밸류를 제외하면 학술적 가치를 높게 평가하기 어렵습니다. 이 논문이 채택된 주요 이유는 아이디어의 혁신성보다는 광범위하고 체계적인 실험 데이터를 제시했기 때문으로 보입니다. 사카나AI는 논문의 실제 피어리뷰 내용을 공개하지 않았습니다.

AI사이언티스트가 수행한 풍부한 실험이 게재 확정된 주된 배경으로 보인다.

사카나AI의 한계가 'AI 기반 연구' 자체의 한계를 말하지는 않는다.

사카나AI의 사례가 AI 기반 연구 전체의 한계를 말하지는 않습니다. 사카나AI는 저비용 소형 모델 중심의 AI를 만드는 데 집중하는 기업으로, AI사이언티스트 또한 저비용에 초점을 맞추어 한 편의 논문을 작성하는 데 15 달러의 비용만이 소요된다는 점을 주된 강점 중 하나로 제시하고 있습니다.

사카나AI가 시사하는 점은 생성한 논문 그 자체보다 AI를 통해 완결된 논문을 작성해낼 수 있음을 보였다는 점에 있습니다. 이는 학술 연구와 논문 작성 과정이 파이프라인으로 자동화될 수 있음을 보여줍니다. 논문에서 드러난 한계점은 대체로 저비용 AI 모델 사용에 기인한 것으로 추정되며, 특히 최신 연구 동향보다 교과서적 방법론에 의존했다는 점에서 AI 모델 자체의 한계가 크게 느껴집니다. 구글의 젬마 3(Gemma 3), 알리바바 클라우드의 QwQ-32B와 같은 경량 모델의 성능 향상 추세를 고려할 때, 비용을 유지하면서도 AI 연구 시스템의 품질 또한 개선될 것으로 보입니다.

그러나 AI는 근본적으로 디지털화된 정보만을 처리할 수 있다는 한계가 있습니다. 사람 연구자는 텍스트와 이미지 외에도 일상생활의 다양한 경험과 감각을 통해 영감을 얻고 창의적인 아이디어를 발전시킵니다. 아침의 따뜻한 햇빛을 보고 아이디어를 얻기도 하고, 아이들의 행동을 관찰하며 새로운 접근법을 찾기도 합니다. 창의성은 다양한 감각의 통합적 경험에서 비롯되는 경우가 많기 때문입니다. AI 연구 시스템은 인간을 완전히 대체하기보다 유능한 연구 조력자로서 기능할 가능성이 높아 보이는 배경입니다.

사카나AI 기업 요약

사카나 AI는 2023년 7월 일본 도쿄에 설립된 인공지능 연구 스타트업입니다. 리온 존스(Lion Jones, 전 구글 엔지니어)와 데이비드 하(David Ha, 전 스태빌리티 AI 책임 연구원), 이토 렌(Ito Ren) 세 명이 공동 창업했습니다.

회사명 '사카나(Sakana)'는 일본어로 물고기를 의미하며, 이는 사카나 AI가 추구하는 '소형 모델의 군집'을 연상하는 물고기 떼에 비유한 것입니다. 사카나AI는 엔비디아, 500 글로벌 등으로부터 시리즈 A 투자 유치를 받아, 2025년 현재 10억 달러 이상의 가치로 평가받고 있습니다.