인공지능 연구 트랜드 해석 - 24.09
정제능력, 트리구조, 목적함수
인간과 인공지능의 차이 요약
- 인간의 정제 능력이 인공지능보다 뛰어납니다.
- 인공지능의 Tree기반 추론은 인간이 따라잡기 어렵습니다.
목적 함수 정제 능력
인공지능을 전공한 입장에서 볼 때, AI가 만능은 아닌 것 같습니다. 그러나 로스앨러모어에서 수많은 과학자들이 모여 핵폭탄을 만들었듯이, 오늘날에도 많은 인재가 AI 분야에 모이고 있고, 앞으로 어떤 혁신이 나올지는 아무도 예측할 수 없습니다. 사람에게 어려운 문제가 AI에게는 쉬울 수 있고, 그 반대도 마찬가지입니다.
인간의 가장 큰 강점은 ’정제 능력(refinement)’입니다. 즉, 변화하는 목적에 맞춰 지속적으로 개선하는 능력이죠. 마치 균형을 잡는 것처럼요. 물론 AI도 refinement를 잘할 수 있지만, AI는 모든 상황을 정확히 알지 못하기 때문에 올바른 목적 함수를 생성하는 데 한계가 있습니다. 쉽게 말해, 목적 함수가 복잡하거나 유동적일 때는 여전히 인간의 역할이 중요합니다.
그 대표적인 예로, 비디오 생성 작업이 있습니다. AI가 영상을 못 만드는 것은 아니지만, 명확한 목적을 설정하는 것이 어려워 실패하는 경우가 많습니다. ‘Video to Video’와 같은 작업은 잘 수행하지만, ‘Text to Video’는 아직 한계가 있는 것이죠. 우리는 명확한 목적을 표현한 텍스트를 알지 못하니까요.
Tree 기반 추론
인공지능 전공자로서 제가 가장 두려워하는 것은 ‘Tree 구조 + 지식 추론 AI’입니다. 이를 이해하려면 바둑을 생각해보면 됩니다. 2016년에 알파고가 성공한 이유는 바둑이라는 게임의 규칙을 기반으로 Tree 구조에서 해법을 찾아냈기 때문입니다. 2024년에는 딥마인드가 국제 수학올림피아드에서 기하학 문제를 풀었죠. 비슷하게 OpenAI는 추론을 돕기 위해 추론 토큰을 추가한 OpenAI-o1 모델을 선보였지만, 아직 Tree 구조 기반은 아닙니다.
Tree 구조를 활용한 추론의 확장성은 인간도 어느 정도 할 수 있습니다. 하지만 AI가 차별화되는 지점은 바로 실패했을 때 되돌아가서 새로운 경로를 찾아가는 데 있습니다. 이 ‘치사한 AI’들은 추론 과정을 메모리에 저장하고, 나뭇가지 끝에서 실패하면 다시 건강한 줄기로 돌아가 다른 방향으로 확장해 나갑니다.
나무가 크게 자라기 위해서는 올바른 목적 함수 설정이 필수적입니다. 입력 초기 상태에서 목적 함수에 따라 상태를 ‘solved’와 ‘unsolved’로 구분하며, 모델의 내부 파라미터와 외부 지식, 그리고 RAG(Retrieval-Augmented Generation) 기술을 통해 추론을 연결하는 것이 중요합니다. OpenAI가 추론 토큰을 사용하든, 딥마인드가 Tree 구조로 연결하든 핵심은 지식 연결입니다.
참고로, 이런 추론 방식을 의학에 적용한 것이 바로 Med-Gemini입니다. 하지만 병명 진단 추론에는 명확한 정답이 없기 때문에, Tree 구조에서 나오는 무수히 많은 추론 값 중 가장 많이 나온 것을 정답으로 선택합니다. 만약 그 추론 값들이 너무 복잡하고 다양하면, AI는 답변을 포기합니다.
그렇다면 여기서 진짜 중요한 건 무엇일까요? 바로 ‘나무를 형성하는 방법’입니다. 동일한 GPT 모델이라도 추론을 어떻게 연결하느냐가 차이를 만듭니다. 그런데 OpenAI-o1의 보고서를 보면, CoT(Chain-of-Thought) 방식은 사용자에게 제공되지 않는다고 합니다. 이게 바로 그들이 돈을 벌어들이는 핵심 기술이기 때문입니다. 이는 AI 생태계의 변화를 예고하는 신호입니다.
