인간의 직관 vs 계산의 힘 : 무엇이 AI를 이끌까?
AI 기술에 관심을 가지고 트렌드를 따라가는 분이라면, 강화학습의 대가인 Rich Sutton이 2019년에 쓴 "The Bitter Lesson"이라는 글을 한 번쯤 들어보셨을지도 모르겠습니다. 70년 AI 연구 역사를 관통하는 이 글은, AI 개발의 방향성에 대해 매우 중요한 시사점을 던져줍니다. 바로 "계산 능력을 활용하는 일반적인 방법이 궁극적으로 가장 효과적이며, 인간의 직관과 지식을 시스템에 직접 주입하려는 노력은 장기적으로 볼 때 오히려 발전을 저해한다"는 근본적인 교훈입니다.
매일같이 쏟아지는 뉴스들을 보면 AI가 인간을 뛰어넘는 건 시간문제처럼 보이기도 하지만 여전히 많은 AI 연구자들은 정답을 알 수 없는 미지의 길을 탐험하고 있습니다. 이런 상황에서 AI 기술의 본질에 대해 다시 한번 돌아볼 필요가 있습니다. 인간의 지식과 경험을 AI에 주입하는 접근보다, 컴퓨팅 파워와 데이터를 활용한 일반적인 학습 알고리즘이 장기적으로 더 큰 성과를 이뤄왔다는 점은 우리에게 어떤 의미를 주는 걸까요?
이 글에서는 Rich Sutton이 제시한 "The Bitter Lesson"을 통해 AI 개발의 과거와 현재를 돌아보며, 미래 AI 연구 방향성에 대한 통찰을 공유하고자 합니다. 체스, 음성 인식, 이미지 인식, 기계 번역 등 다양한 영역에서 발견된 패턴을 살펴보고, 오늘날의 대규모 언어 모델(LLM)과 같은 최신 기술이 보여주는 발전 경로가 이 교훈을 어떻게 뒷받침하는지 알아보겠습니다.
AI 연구의 70년과 '쓰라린 교훈'
지난 70년간의 AI 연구에서 배울 수 있는 가장 큰 교훈은 무엇일까요? Sutton에 따르면, 그것은 바로 '계산력을 활용하는 일반적인 방법이 결국 가장 효과적이며, 그 차이는 압도적'이라는 것입니다.
이러한 현상의 근본적인 이유는 무어의 법칙(또는 계산 단위당 비용이 지속적으로 기하급수적으로 감소하는 현상)에 있습니다. 대부분의 AI 연구자들은 마치 AI가 사용할 수 있는 계산력이 일정하다고 가정하고 연구를 진행해왔습니다. 이런 상황에서는 인간의 지식을 활용하는 것이 성능을 향상시키는 거의 유일한 방법이었죠. 하지만 조금만 더 긴 시간 관점에서 보면, 압도적으로 많은 계산력이 필연적으로 사용 가능해집니다.
AI 발전의 역사적 패턴
연구자들은 단기간에 성과를 내기 위해 해당 분야에 대한 인간의 지식을 활용하려고 합니다. 하지만 Sutton은 장기적으로 중요한 것은 오직 '계산력의 활용'이라고 지적합니다.
이 두 접근법(인간 지식 vs 계산력)은 서로 상충할 필요가 없지만, 실제로는 그런 경향이 있습니다. 한 쪽에 투자한 시간은 다른 쪽에 쓰지 못한 시간이 되고, 연구자들은 심리적으로 한 접근법에 집중하게 됩니다. 또한 인간 지식 중심 접근법은 방법론을 복잡하게 만들어 계산력을 활용하는 일반적인 방법의 이점을 살리기 어렵게 만듭니다.
왜 이런 일이 벌어진 걸까요? "The Bitter Lesson"은 그 이유를 명확하게 지적합니다. 바로 인간의 지식과 직관이 가진 한계 때문입니다. 우리가 세상을 이해하는 방식은 지극히 주관적이고 제한적입니다. 복잡하고 끊임없이 변화하는 현실을 완벽하게 담아낼 수 없죠. AI에게 이러한 불완전한 지식을 주입하는 것은, 결국 AI의 잠재력을 억누르는 족쇄가 될 수밖에 없습니다.
체스에서 배운 교훈
1997년, 세계 챔피언 카스파로프를 이긴 컴퓨터 체스 프로그램은 대규모의 깊은 탐색(search)에 기반한 방식이었습니다. 당시 대부분의 컴퓨터 체스 연구자들은 체스의 독특한 구조를 이해하고 이를 활용하는 인간 중심의 접근법을 추구하고 있었기 때문에, 이러한 결과는 그들에게 실망스러운 일이었습니다.
그러나 병렬 연산을 위한 하드웨어와 소프트웨어를 갖춘 단순한 탐색 중심의 접근법이 훨씬 더 효과적임이 입증되자, 인간의 지식에 의존하던 연구자들은 이를 쉽게 받아들이지 못했습니다. 그들은 “이번에는 무차별 대입(brute-force) 탐색이 이겼을지 모르지만, 그것은 일반적인 전략이 아니며, 어쨌든 사람이 체스를 두는 방식은 아니다”라고 주장했습니다.
바둑에서 반복된 역사
컴퓨터 바둑에서도 비슷한 패턴으로 성공 사례가 등장했지만(알파고), 약 20년 정도 지연되었습니다. 초기에는 인간의 지식이나 게임의 특별한 특성을 활용하여 탐색을 피하는 데 엄청난 노력이 들어갔습니다. 하지만 이러한 모든 노력은 탐색이 효과적으로 대규모로 적용되자 무관하거나 오히려 방해가 되었습니다.
또한 가치 함수를 학습하기 위한 자가 플레이(self play)를 통한 학습도 중요했습니다(다른 많은 게임에서와 마찬가지로, 심지어 체스에서도 마찬가지였지만, 1997년 세계 챔피언을 처음 이긴 프로그램에서는 학습이 큰 역할을 하지 않았습니다). 자가 플레이를 통한 학습, 그리고 일반적인 학습은 대규모 계산을 활용할 수 있게 해준다는 점에서 탐색과 유사합니다. 탐색과 학습은 AI 연구에서 대규모 계산을 활용하는 가장 중요한 두 가지 기술 유형입니다.
음성 인식과 컴퓨터 비전의 사례
1970년대에 DARPA가 후원한 음성 인식 경쟁이 있었습니다. 참가자 중에는 사람의 지식(단어, 음소, 인간 성도 등에 대한 지식)을 활용한 다양한 특별한 방법들이 있었습니다. 반면에 은닉 마르코프 모델(HMM)에 기반한, 더 통계적인 성격을 띠고 훨씬 더 많은 계산을 수행하는 새로운 방법들이 있었습니다.
여기서도 통계적 방법이 인간 지식 기반 방법을 이겼습니다. 이로 인해 수십 년에 걸쳐 자연어 처리 전체 분야에서 통계와 계산이 지배적인 위치를 차지하게 되었습니다. 최근 음성 인식에서 딥 러닝의 부상은 이러한 일관된 방향의 가장 최근 단계입니다. 딥 러닝 방법은 인간 지식에 대한 의존도가 훨씬 낮고, 더 많은 계산력을 사용하며, 대규모 훈련 세트에서의 학습을 통해 획기적으로 향상된 음성 인식 시스템을 생산합니다.
컴퓨터 비전에서도 유사한 패턴이 나타났습니다. 초기 방법은 비전을 가장자리(edge) 탐색, 일반화된 실린더, 또는 SIFT 특징 등의 수작업화된 설계 방식에 의존하였습니다. 하지만 오늘날 이 모든 것은 폐기되었습니다. 현대의 딥 러닝 신경망은 컨볼루션과 특정 유형의 불변성(invariance)이라는 개념만 사용하지만 훨씬 더 좋은 성능을 보여줍니다.
AI 연구의 두 가지 핵심 방법론
우리가 오로지 믿고 따라야 하는 것은 범용적인 방법의 강력한 힘입니다. 즉, 사용 가능한 계산력이 매우 커지더라도 계산력 증가와 함께 계속해서 확장되는 방법(Scalability)의 힘입니다. 이런 방식으로 임의로 확장되는 두 가지 방법은 탐색(search)과 학습(learning)입니다.
· 탐색 : 가능한 모든 경우의 수를 탐색하여 최적의 해결책을 찾는 방식입니다. 바둑 AI 알파고가 몬테카를로 트리 탐색을 통해 수많은 경우의 수를 계산하는 것이 그 예입니다.
· 학습: 막대한 데이터를 통해 스스로 패턴을 파악하고 지식을 습득하는 방식입니다. 딥러닝을 통해 이미지를 인식하거나 음성을 이해하는 AI가 대표적인 예입니다.
연구자들은 항상 자신의 지능과 지식이 작동한다고 생각하는 방식으로 작동하는 시스템을 만들려고 했습니다. 그들은 그 지식을 자신의 시스템에 넣으려고 노력했습니다. 하지만 무어의 법칙을 통해 대규모 계산이 가능해지고 그것을 잘 활용할 수 있는 방법이 발견되자, 이는 궁극적으로 역효과를 낳고 연구자의 시간과 노력을 엄청나게 낭비하는 것으로 판명되었습니다.
결국 인간 지능의 실제 내용은 엄청나게, 이해하기에 너무 복잡하다는 것입니다. 인간의 지능은 공간, 객체, 다중 에이전트, 대칭성 등과 같은 단순한 개념으로는 설명하기 어렵습니다. 따라서 이를 구조화하여 컴퓨터에 적용하는 방법을 찾으려는 시도는 비효율적이며 궁극적으로는 성공 불가능하다고 할 수 있습니다.
이 모든 것은 임의적이고 본질적으로 복잡한 외부 세계의 일부입니다. 그것들은 인위적으로 내재되어야 할 것이 아닙니다. 왜냐하면 지능의 복잡성은 끝이 없기 때문입니다. 대신 우리는 이러한 임의적인 복잡성을 찾고 포착할 수 있는 메타 방법만 내재해야 합니다. 계산 능력에 집중할 때 "결국에는 획기적인 진전이 이루어진다"는 점을 기억해야 합니다. 즉, 장기적인 관점에서 인내심을 갖고 계산적 접근 방식에 지속적으로 투자하는 것이 중요합니다.
결론: 쓰라린 교훈이 주는 시사점
Sutton은 우리가 발견한 것을 담고 있는 AI가 아니라, 우리처럼 발견할 수 있는 AI 에이전트를 원한다고 말합니다. 우리의 발견을 내장하는 것은 발견 과정이 어떻게 이루어질 수 있는지 보기 더 어렵게 만들 뿐입니다.
최근 챗GPT와 같은 대규모 언어 모델(LLM)의 등장은 'The Bitter Lesson'의 중요성을 다시 한번 보여주는 사례입니다. LLM에의 구조에는 그 어떤 언어적 개념도 내재되어 있지 않습니다. 단지 LLM은 단어간 관계의 통계적 처리를 수행하는 구조로 스스로 언어 체계를 학습할 수 있으며, 방대한 텍스트 데이터와 막대한 계산 능력을 투입하면 인간 수준의 언어 이해와 생성 능력을 가지게 됩니다. 이는 인간의 지식을 직접 주입하는 방식이 아닌, 데이터 기반 학습의 힘을 보여주는 대표적인 사례입니다.
물론 AI 기술의 미래는 아직 미지수입니다. 하지만 'The Bitter Lesson'을 통해 우리는 AI 개발의 올바른 방향을 설정하고, 더 나은 미래를 향해 나아갈 수 있을 것입니다. 여러분은 어떻게 생각하시나요? 인간의 지식과 직관이 여전히 중요할까요, 아니면 계산력과 일반적인 방법론이 앞으로도 AI 발전을 주도할까요?
