초거대 AI의 시대는 끝이 났다.
샘 알트먼이 말하는 생성형 AI의 미래와 방향
거대한 AI 모델을 만드는 시대는 이제 끝났습니다. 앞으로는 다른 방법으로 더 나은 모델을 만들어야 합니다.
OpenAI의 수장 샘 알트먼이 Zoom으로 진행된 MIT행사에서 직접 한 말이다. 초거대 AI의 시대가 끝났다는 것은, 초거대 AI를 부정하는 말이 아니다. 하지만, 매개변수(Parameter)를 계속해서 추가하면서 대규모 언어 모델(LLM)의 크기를 늘리는 것만으로는 AI의 성능을 향상시키는 데 한계가 있다는 뜻이다.
(출처: Steve Jennings / Getty Images)이는 앞으로 OpenAI와 GPT의 방향성이 그간과는 다를 것임을 시사한다. 최근 몇 년 동안 OpenAI는 기존의 머신러닝 알고리즘을 이전에는 상상도 못한 규모로 확장시키며 언어 처리 분야의 엄청난 발전을 이끌어냈다. OpenAI의 최신작 GPT-4는 아직 정확히 밝혀진 바는 없지만, 수조 단어의 텍스트와 수천 개의 초고성능 컴퓨터 칩을 사용하여 학습되었을 가능성이 높다. 이 과정에는 무려 1억 달러(한화 약 1338억) 이상의 비용이 들었을 것이라 한다.
근데 이번 GPT-4를 끝으로, OpenAI는 더 이상 모델의 '확대'에 집중하지 않겠다는 말이다. Anthropic, AI21, Cohere, Character.AI 등 탄탄한 투자를 받은 굴지의 스타트업들이 OpenAI보다 큰 알고리즘을 구축하기 위해 막대한 자금을 쏟아붓고 있는 현 상황에서, 그 누구도 샘 알트먼의 이러한 발언을 예상하지 못했을 것이다.
엄청난 크기의 언어 모델들 (출처: Lifearchitect)알트먼에 따르면 AI 모델의 크기와 AI 모델의 성능은 비례하지 않는다. 물론, 어느 정도까지는 매개 변수가 많아질수록 모델의 학습능력이 향상하고 답변의 정확도가 제고되지만, 이것이 마치 하나의 원칙인 것처럼 항상 비례하는 것은 결코 아니라는 것이다. AI의 성능은 크기 외에도 다른 다양한 요소들에 의해 좌우되고, 이제제 사이즈를 키우는 것 외의 요소에 주안점을 두겠다고 샘 알트먼은 말한다. 오히려 AI 모델의 '사이즈'를 키우는 데 과도한 집중이 쏠리고 있는 가운데, OpenAI는 AI의 '역량'을 키우는 본질에 집중할 것이며, 이를 위해 필요한 경우 모델의 사이즈를 줄일 수도 있고, 규모가 작은 여러 모델들을 만들어 이들을 함께 작동시키는 방법을 택할 수도 있다고 한다.
이 시점에서 한번 짚고 넘어가보자. 과연 '좋은' AI 모델은 무엇일까? 한 가지 확실한 것은, 계속해서 커지는 것이 좋은 AI는 아니라는 점이다. 인간에게 더 도움이 되고, 더 많은 작업을 보조하는 역할을 수행하고, 안전하게 작동되는 모델이 좋은 모델이지 않을까? 그렇다면, 아직 좋은 AI 모델을 만들기 위해 개선해 나가야 할 점들이 많이 남아있다. 현재, 탈옥(Jailbreak)를 통해 AI로부터 비윤리적인 답변을 의도하는 것이 가능하다. 즉 아직 안전성과 윤리성 측면에서 AI 모델은 개선의 여지가 많다. 또한 허위 정보를 제공하고 심지어 허위 출처를 통해 주장을 뒷받침하기까지 하는 'AI 할루시네이션(Hallucination)' 현상도 완벽히 제거하지 못했다. 샘 알트먼의 인터뷰에서 그가 시사하는 바는, 이러한 문제의 해결책이 AI의 크기를 키우는 데에는 없다는 것이다.
그렇다면, 앞으로 AI산업엔 어떤 바람이 불까? 내 생각에는 다양한 분야에서 특정 분야에 맞춤화된 소규모 언어모델 'sLLM' 이 점차 많아질 것으로 본다. sLLM은 특정 분야에 한정하지만 깊이 있는 데이터를 학습할 수 있고, 머신러닝 매개변수를 줄여 비용과 머신러닝 소요시간을 절감하고 미세조정(fine-tuning)을 통해 정확도를 높일 수 있다. 어떤 목적에 따른 맞춤형 AI모델을 구축하는 데는 sLLM과 같은 작고 유연한 모델이 더 효과적일 것이다. 모든 플랫폼, 서비스, 회사가 세상의 모든 정보를 필요로 하지는 않기 때문이다. 무조건적으로 크기를 키울 필요가 없기에, 머신 러닝에 막대한 비용을 쏟아부을 필요가 없고, 이는 AI 진입 장벽을 지금보다 낮출 수 있을 것으로 기대된다. 소규모와 대규모 AI가 공존하는 세상이 올 것이고, 점차 IT의 모든 부분에 AI가 적용될 것이라고 본다.
출처
https://techcrunch.com/2023/04/14/sam-altman-size-of-llms-wont-matter-as-much-moving-forward/
https://www.aitimes.com/news/articleView.html?idxno=150299
