8. LLM 역사와 함께한 Perplexity의 여정
초기 단계: 어텐션 메커니즘의 도입
LLM 발전의 첫 단계는 Yoshua Bengio와 Dzmitry Bahdanau가 제안한 ‘Soft Attention’ 메커니즘에서 시작되었습니다. 이 메커니즘은 처음에 ‘Align and Translate’라는 논문에 적용되었으며, Ilya Sutskever는 단순한 RNN(Recurrent Neural Network) 모델을 대규모로 확장하여 기존의 구문 기반 기계 번역 시스템을 뛰어넘을 수 있다고 주장했습니다. 그러나 이 방법은 계산량이 많고 효율성이 떨어졌습니다. 이에 대한 반응으로, Bengio 연구실의 Bahdanau는 어텐션 메커니즘을 도입해 훨씬 적은 계산량으로도 뛰어난 성능을 발휘할 수 있음을 입증했습니다. 이는 AI 연구에서 중요한 전환점이 되었습니다.
트랜스포머의 등장
이후, DeepMind는 ‘Pixel RNN’ 논문에서 RNN 없이도 오토레그레시브 모델링이 가능하다는 점을 발견했습니다. 이때의 핵심 아이디어는 마스킹(masking)으로, 이를 통해 병렬 학습이 가능해졌습니다. 구글 브레인에 의해 트랜스포머(transformer) 모델이 구체화되었으며, 2017년에 발표된 이후 AI 모델의 기본 구조로 자리 잡았습니다. 트랜스포머 모델은 어텐션 메커니즘의 강력함과 WaveNet의 병렬 연산 능력을 결합하여 LLM의 핵심 기술로 자리 잡았습니다.
GPT 시리즈의 발전
트랜스포머의 성공 이후, OpenAI는 이 구조를 기반으로 GPT(Generative Pre-trained Transformer) 시리즈를 개발했습니다. 처음 출시된 GPT-1은 자연어 상식을 학습할 수 있는 가능성을 열어주었으며, GPT-2는Reddit 링크를 활용한 대규모 데이터 학습을 통해 더 많은 파라미터를 가진 모델이 만들어졌습니다. GPT-2는 다양한 이야기를 생성할 수 있는 능력으로 주목받았습니다.
GPT-3의 등장으로 LLM은 또 한 번 큰 도약을 이루었습니다. GPT-3는 Common Crawl 데이터를 활용해 1750억 개의 파라미터를 학습하였고, 이로 인해 더욱 발전된 성능을 보여주었습니다. 이 시점에서 중요한 통찰력은 데이터의 양과 질을 함께 확장해야 한다는 것이었습니다. 단순히 모델을 크게 만드는 것이 아니라, 데이터 세트를 크게 하고 고품질로 유지하는 것이 성능 향상의 핵심이 되었습니다.
향후 발전
LLM의 발전은 지금도 계속되고 있으며, AI 연구자들은 모델의 크기를 확장하는 것뿐만 아니라 데이터 세트의 품질을 개선하는 데 주력하고 있습니다. AI 모델이 더 나은 추론 능력을 가지기 위해서는 지속적인 병렬 연산과 데이터 세트의 확장이 필요합니다. 이러한 발전 과정을 통해 LLM은 단순한 자연어 처리 도구를 넘어, 인간의 언어와 사고를 이해하고 모방하는 수준에 이르렀습니다.
RLHF(인간 피드백을 통한 강화학습)의 중요성
Aravind Srinivas는 RLHF(강화 학습 기반 인간 피드백)의 중요성을 강조하면서, 이 방법이 GPT-3와 같은 대형 언어 모델(LLM)에서 핵심적인 역할을 한다고 언급했습니다. RLHF는 두 가지 주요 단계를 포함하며, 각각의 단계는 모델의 성능과 사용자 경험을 크게 향상시킵니다.
프리 트레이닝은 RLHF 과정의 기초가 되는 중요한 단계입니다. 프리 트레이닝은 대규모 컴퓨팅 자원을 활용해 언어 모델을 학습시키는 초기 단계입니다. 이 단계에서는 대량의 텍스트 데이터를 사용해 모델이 기본적인 언어 구조와 일반적인 상식에 대한 이해를 습득하게 됩니다. 이를 통해 모델은 사람이 다양한 지식을 습득하는 과정과 유사하게 기초적인 언어 능력을 개발합니다.
프리 트레이닝이 잘 수행되어야 포스트 트레이닝에서 모델의 미세 조정(supervised fine-tuning)이 효과적으로 작동할 수 있습니다. 기본적으로 지능이 있는 사람에게만 여러 가지 기술을 가르칠 수 있는 것과 같으며, 이 때문에 프리 트레이닝이 중요한 것입니다. 그래서 모델을 더 크게 만드는 것입니다. 같은 RLHF도 더 큰 모델에서 사용되면, 예를 들어 GPT-4에서는 GPT-3.5보다 훨씬 더 ChatGPT를 개선할 수 있게 됩니다.
포스트 트레이닝은 RLHF가 실제로 적용되는 단계로, 프리 트레이닝된 모델을 인간의 선호도에 맞게 조정합니다. RLHF 프로세스를 통해 인간의 피드백을 활용하여 모델을 개선합니다. 포스트 트레이닝은 모델이 이미 배운 것들을 더 구체화하고, 특정 태스크에 맞게 미세 조정하는 단계입니다. 예를 들어, 코딩 질문에 대해서는 답변이 마크다운과 syntax highlighting 도구를 사용해 포맷되도록 하고, 어떤 도구를 언제 사용해야 하는지 알고 있어야 합니다. 포스트 트레이닝을 통해 이러한 질문을 여러 부분으로 나누어 처리할 수 있습니다.
이 모든 과정이 바로 포스트 트레이닝 단계에서 이루어지며, 이를 통해 더 나은 제품을 만들고, 사용자들이 상호작용하면서 더 많은 데이터를 수집하게 됩니다. 이러한 피드백 루프(flywheel)를 통해 모델은 점점 더 개선되며, 앞으로도 이 과정에서 더 많은 혁신이 나올 것이라고 Aravind Srinivas는 예상하고 있습니다.
오픈 북 시험(open book exam)처럼 학습할 수 있는 시스템
Aravind Srinivas는 프리 트레이닝이 마치 노트 없이 시험 보는 것과 같다고 표현했습니다. RAG(Retrieval Augmented Generation) 아키텍처에 대해 생각해보면, 우리는 프리 트레이닝(pre-training) 단계에서 일반적인 상식을 얻기 위해 많은 컴퓨팅 자원을 사용해왔지만, 그 방식은 단순한 힘의 낭비처럼 비효율적일 수 있습니다.
프리 트레이닝은 기본적으로 AI에게 많은 정보와 지식을 주입하는 과정입니다. 이 단계에서 AI는 많은 데이터를 통해 일반적인 상식을 습득합니다. 하지만 이 방식은 마치 노트 없이 시험을 치르는 것과 비슷합니다. 모든 내용을 기억해야 하기 때문에 비효율적일 수 있습니다.
포스트 트레이닝은 이 후에 이루어지는 세부적인 훈련입니다. 이 과정에서는 AI가 학습한 지식을 바탕으로 실제 문제를 해결하는 방법을 배우게 됩니다. 예를 들어, 코딩 질문에 대해 어떻게 답을 작성해야 하는지, 어떤 도구를 사용해야 하는지 등을 배우게 됩니다. 이 과정은 마치 노트와 함께 시험을 보는 것과 비슷해서, AI가 더 효율적으로 문제를 해결할 수 있게 합니다.
또한, 최근 연구에서는 작은 모델(SLM)을 통해 AI가 효율적으로 논리적 사고를 할 수 있는 방법을 모색하고 있습니다. 큰 모델에 비해 더 작은 AI 모델이 효율적으로 학습하도록 만들 수 있다면, 이 방식은 AI 개발의 큰 혁신이 될 수 있습니다. ‘Chain of Thought’라는 아이디어는 AI가 단순히 답을 제공하는 것이 아니라, 그 답을 도출하기 위해 중간 단계를 거쳐 논리적으로 사고하게 만드는 방식입니다. 이런 방식으로 AI는 새로운 문제에 대해서도 더 나은 답을 제공할 수 있게 됩니다.
AI의 학습 과정은 단순한 지식 습득을 넘어서, 그 지식을 바탕으로 논리적 사고를 할 수 있도록 훈련하는 것이 중요하며, 이를 통해 AI는 더 똑똑하고 유용한 도구가 될 수 있는 것입니다.
Perplexity가 LLM 분야에 미친 영향
Perplexity AI는 대형 언어 모델(LLM) 분야에서 중요한 역할을 하며, AI 기반 검색 및 정보 검색에서 혁신을 주도하고 있습니다. Perplexity AI의 주요 기여 중 하나는 실시간 정보를 응답에 통합하여 제공한 점입니다. 이 기능은 전통적인 LLM의 한계를 극복하여 사용자가 가장 최신의 관련 데이터를 받을 수 있도록 하여, AI의 출력물의 정확성과 신뢰성을 향상시킵니다.
또한 Perplexity AI는 정보에 출처를 명시하는 것을 강조함으로써 AI 생성 콘텐츠의 투명성에 대한 새로운 기준을 세웠습니다. 출처를 제공함으로써 Perplexity는 응답의 신뢰성을 강화할 뿐만 아니라, 더 투명한 AI 생태계를 조성하는 데 기여하고 있습니다. 이러한 접근 방식은 AI 기술의 광범위한 채택에 있어 중요한 요소인 사용자 신뢰를 쌓는 데 도움이 됩니다.
Perplexity AI는 작업별 맞춤형 모델(task-specific models)을 개발하여 더 집중적이고 효율적인 AI 응용 프로그램의 가능성을 보여줍니다. 이러한 특화된 모델들은 특정 유형의 쿼리를 더 정확하게 처리하도록 설계되어, 특정하고 정확한 정보를 필요로 하는 사용자에게 이상적입니다.
Perplexity AI의 영향력은 AI 기반 검색 엔진의 경쟁 구도에도 확장됩니다. Perplexity는 기존의 경쟁자를 도전하고 AI가 검색과 정보 검색에서 달성할 수 있는 한계를 넓힘으로써 업계 전반에 혁신을 촉진하고 있습니다. 이러한 경쟁은 AI 커뮤니티 전체에 유익하며, 더 발전된, 정확하며, 사용자 친화적인 검색 도구의 개발을 가속화합니다.
LLM 분야가 계속 발전함에 따라, Perplexity AI는 주목할 만한 기업으로 남아 있습니다. 그들의 지속적인 진보는 AI의 정확성, 투명성, 그리고 특화의 증가라는 광범위한 트렌드를 반영합니다. 이러한 요소들은 Perplexity AI를 AI 및 LLM의 끊임없이 확장되는 세계에서 선구자로 자리매김하게 합니다.
