꼭 알아두어야 할, 새로운 AI 패러다임과 용어들
* 이 글은 AI 전문 뉴스레터 '튜링 포스트 코리아'에 게재한 글의 일부입니다. AI 기술, 스타트업, 산업과 사회에 대한 이야기에 관심이 있으시면 '튜링 포스트 코리아' 구독해 주세요.
AI 영역만큼 새로운 용어들이 계속해서 등장하는 분야가 있을까 싶기는 합니다만, 특히 최근에, 다시 한 번 주목해서 ‘이해해 두어야겠다’ 생각이 드는 몇 가지 ‘새로운 연구 방향’을 시사하는 용어들이 있어서, FOD를 통해서 정리하고 여러분과 공유할까 합니다.
CTM (Continous Thought Machines), Elastic Reasoning, ZeroSearch 같은 것들인데요 - 이 단어들이 왜 등장했을까, 그리고 앞으로 어떤 변화의 방향을 가리키는 걸까 깊이 생각해 본다면, 향후의 AI 모델 진화 방향은 어떤 쪽인지, ‘지능’이라는 것을 우리는 어떻게 다시 정의하고 있는지 등에 대해 단서를 얻을 수 있을지도 모릅니다.
자, 그럼 하나씩, 살짝 살펴볼까요?
연속적 사고 기계 (CTM; Continuous Thought Machines)
튜링 포스트 코리아를 통해서 몇 차례 소개한 적이 있는, 일본의 AI 스타트업 Sakana AI, 여러분들도 아실 겁니다. 이 스타트업이 어떤 방향의 연구를 하고 있는지 잘 살펴보는 건 재미도 있고 항상 의미가 있었던 것 같아요.
구글, 그리고 딥마인드에서 일했던 David Ha, 그리고 Llion Jones가 주축이 되어 설립한 이 회사는, ‘생물학적인 관점’에서 영감을 받은 모델 개발 방식으로 알려져 있죠 - 거대한 단일 구조의 모델을 키워가는 대신, 작은 모델들을 스스로 진화하면서 결합하는 방식에 집중합니다.
며칠 전인 5월 12일, Sakana AI에서 CTM (연속적 사고 기계; Continuous Thought Machines)라는 연구를 발표하면서 AI 학계에 새로운 질문을 던졌습니다. 그 질문은 바로, “시간이라는 요소가 지금 우리가 다루는 AI에서 빠져있는 한 조각이 아닐까요?”라는 겁니다.
Image Credit: Sakana AI기존의 AI가 마치 ‘시험에서 문제를 보자마자 즉시 답을 적어내는 학생’ 같은 거라면, CTM은 ‘문제를 받고 나서 연필을 물어뜯으면서 고민하고, 계산하고, 다시 생각도 해 보는 학생’ 같다고 할 수 있을 것 같습니다 - 바로 ‘시간을 들여서 점진적으로 사고하는 과정’이 모델 자체에 내장되어 있다는 점이 핵심이죠. (이렇게 봐라 하는 프롬프트를 받고 작업하는게 아닙니다)
각각의 인공 뉴런이 과거의 입력 신호들을 기억하고, 다른 뉴런들과 시간적으로 동기화하면서 정보를 처리합니다. 타이밍이 정보가 되는 겁니다. 그래서 패턴이 ‘계층’ 뿐 아니라 ‘리듬’에서 나타나게 되겠죠. 이 곳을 보시면 비디오로 이 모델의 작동 방식을 확인해 보실 수도 있으니 꼭 한 번 들어가 보세요.
Sakana AI 팀의 표현에 따르면, ‘시간은 더 이상 제약 조건이 아닙니다; 사고의 매체 (Medium)입니다’.
CTM의 접근 방식은, AI가 즉각적이고 단순한 패턴 매칭을 넘어서, 보다 인간적인 사고의 과정을 구현할 또 하나의 가능성을 보여준다고 생각해요 - AI가 더 복잡한 추론, 창의적인 문제 해결, 시간에 따라서 변화하는 환경에 적응하는 능력을 갖추는데 중요한 기제가 될 수도 있지 않을까요?
탄력적 추론 (Elastic Reasoning)
여러분 모두 잘 아시는 세일즈포스. 세일즈포스도 Salesforce AI라는 브랜드 아래 아주 강력한 연구팀을 보유하고 있습니다.
지난 주에, Salesforce AI에서 ‘복잡한 문제를 더 효율적으로 해결’할 새로운 접근법, ‘탄력적 추론 (Elastic Reasoning)’이라는 기법을 소개했습니다.
Elastic Reasoning의 구조. Image Credit: Salesforce AI지금까지의 전통적인 모델은, 생각을 해야 하거나 복잡한 문제를 해결하려고 할 때, 상당힌 긴 CoT 체인을 만들죠. 그런데 이런 방식은, 계산을 위한 예산 (Budget)이 빠듯할 때는 그닥 현실적인 방안이 못 된다는 문제가 있어요.
Salesforce AI에서 이야기하는 ‘탄력적 추론’ 기법은 추론 작업을 ‘생각하기 (위 그림에서 Thinking)’, 그리고 ‘해결책 (위 그림에서 Solution)’, 이 두 단계로 나누는데, 각각 자체적인 예산을 가지고 있어요. 모델이 두서없이, 끝없이 장황하게 토큰을 생성하게 놔두지 않고, 탄력적 추론 기법은 ‘생각하는 과정이 조금 짧아지더라도 최종적인 답변이 항상 완성되도록’ 보장하는 겁니다.
이게 새로운 점은, ‘적응성 (Adaptability)’에 있다고 봅니다: 즉, 제약이 있는 예산을 가지고 한 번 훈련을 하면, 모델은 재훈련을 하지 않더라도 새로운 제약 조건의 경우에도 잘 일반화를 해요. 그런 일종의 ‘압박’이라고 할까요, 그런 조건 하에서도 더 좋은 성능을 내고, 그렇게 되면 제약이 없는 경우에도 더 간결하게 사고를 하고 작업을 합니다.
수학이라든가 코딩 벤치마크에서 인상적인 결과를 보여주고 있구요, 비용에 민감한 실제 환경이라면, 아마 이런 접근방법이 이후에 ‘추론 모델’을 배포하는 표준적인 기법이 될 가능성이 높다고 봅니다. 주목할 만한 가치가 있습니다.
’Zero(0)’ + X: 뭔가를 ‘안 하면서도 한다’
알리바바의 통이 연구소 (Tongyi Lab)에서 ZeroSearch라는 연구를 선보였는데, 이게 화제가 되고 있습니다. ZeroSearch는 LLM이 외부 API를 호출하지 않고도 검색과 비슷한 작업을 할 수 있게 하는, 새로운 강화학습 기법이라고 하면 될 것 같은데요.
여기서는, RAG이라든가 에이전트 구조의 추론 기법에서도 계속 문제가 되고 있는 일종의 병목 현상을 해결하고자 합니다. 이 병목 현상이라는 건, ‘외부의 검색 API를 쓰게 되면 수없이 많은 API 콜을 해야 하니 돈도 많이 들고 시간 지연도 되고, 아무래도 외부 API니만큼 안정성도 이슈가 될 수 있는 등의 문제’예요.
모의 검색 엔진 기반의 ZeroSearch 프레임웍. Image Credit: 알리바바그래서, ZeroSearch는 실제 검색 엔진에 쿼리를 하는 게 아니라, 지도 학습을 통해서 파인튜닝한 LLM을 ‘모의 검색 엔진’으로 사용하는 겁니다. 이런 LLM은 쿼리에 맞춰서 고품질의 문서든, 노이즈가 있는 문서든 모두 만들 수 있으니까, 검색 환경에 대해서 원하는 대로 세밀하게 제어할 수가 있죠. 특히 주목할 만한 건, 커리큘럼 기반의 품질 저하 전략 (Curriculum-based Degradation Strategy)인데, 강화학습을 진행하는 중에 점진적으로 문서의 노이즈를 증가시켜서 - 마치 학생에게 처음에는 쉬운 문제를 주다가 점점 어려운 문제를 주는 것 같은 거죠 - 모델의 추론 능력을 확장합니다.
이 기법을 사용하면, 검색하는 부분과 정보를 활용하는 부분을 따로 나눠서, AI가 정보를 더 효과적으로 학습할 수 있게 해 줍니다 - 마치, 책을 찾는 일과 책의 내용을 이해하는 일을 구분하는 것 비슷한데요. 이렇게 해서, AI의 학습 과정이 더 안정적으로 진행됩니다.
실제 테스트에서, ZeroSearch의 140억 파라미터 모델은 Q&A 작업에서 구글 검색을 사용한 경우보다 더 좋은 결과를 보여줬습니다. 이 기법의 좋은 점은, 웹을 온라인으로 사용하지 않고도 AI에게 효과적인 검색 방법을 가르칠 수 있고, 어떤 종류의 AI 모델에도 적용할 수 있고, 스케일링하기도 쉽습니다.
또 하나.
칭화대학교, 북경대학교, 펜실베니아 대학교 연구진들이 함께 소개한, Absolute Zero라는 대담한 새로운 아이디어도 소개드립니다.
Absolute Zero 기법의 패러다임. Image Credit: 오리지널 논문AI가 사람이 만든 데이터가 없어도 추론 능력을 향상시킬 수 있다면 어떨까 하는 아이디어에서 출발한 연구인데, 데이터셋을 큐레이션해서 학습하는게 아니라, AI가 자체적으로 태스크를 만들어내고, 그 태스크를 해결하고, 그 과정에서 나온 결과로부터 학습을 합니다 - 완전히 Self-Play를 통해서요. 앞으로 더 고도화되고 잘 다듬어진다면, Absolute Zero는 특히 사람이 감독하기 어렵거나 불가능한 영역에서 자율적으로 작동하는 추론 에이전트를 훈련하는 기본 기법이 될 수도 있을 것 같습니다.
