OpenAI 발전의 한계에 부딪히다
AI 발전의 한계와 OpenAI의 대응: Orion 모델의 도전과 전략
(커버이미지 : Clark Miller - Theinformation )
2024년 12월로 예정된 Google의 Gemini 2.0 모델이 성능 목표를 달성하지 못할 것이라는 예측이 꽤나 많습니다. Gemini는 OpenAI의 API에 비해 사용이 복잡하고, 인증 설정에만 장시간이 소요되는 문제를 최근 Completion API를 유사하게 바꾸면서 해결하는 듯 했는데요. 그럼에도 불구하고 개발자들의 낮은 사용률을 극복하지 못하고 있죠. 그런 문제보다는 반복적인 유사한 답변을 생성하거나, 기본적인 프롬프트 및 쿼리 작성의 전문성이 없으면 높은 확률로 원하는 답변을 얻지 못하는 한계성을 보여왔습니다. 단순히 Gemini가 기대에 못미쳤던 것은 사실이지만, Gemini 2.0이라는 새로운 모델이 개선하는데 어려움을 겪고 있을거라는 예측은 AI의 급격한 발전을 이끌어온 대형 모델들이 더 이상 큰 성능 개선을 이루지 못하는 현상이 나타나기 시작하는 전조를 보여주는 것 아닐까요? 이와 비슷하게, OpenAI의 새로운 모델 "Orion" 역시 기대했던 만큼의 성능 향상을 보여주지 못할 것이라며, AI 기술 발전의 한계와 새로운 도전 과제들이 부각되고 있습니다.
AI 성능 정체는 왜 일어나는가?
Orion은 OpenAI의 차세대 프로젝트인 스트로베리 기반의 AI 모델로 수학적으로 매우 뛰어난 기존 모델의 한계를 극복하는 성능을 보여줄 것으로 예견되었지만, 들리는 이야기에 따르면 GPT-3에서 GPT-4로의 발전과 비교했을 때, 성능 개선이 미미하다고 합니다. GPT-3에서 GPT-4로의 도약은 그야말로 AI 연구의 획기적인 순간이었지만, 차세대 모델인 Orion은 그만큼의 변화를 가져오지 못한 거죠. OpenAI는 더 큰 데이터 세트와 더 많은 컴퓨팅 자원을 사용했음에도, 성능의 비약적인 향상은 이루어지지 않은 것으로 전해졌습니다.
앞에서 언급한 Google의 Gemini 2.0 모델과 Anthropic의 Opus 모델 역시 기대 이하의 성능을 보여줄 것으로 예측된다는 소문이 많이 들리는 걸 보면, AI 모델 성능 개선이 일시적인 한계에 다다랐다는 걸 의심하지 않을 수 없습니다.
AI 성능 개선의 둔화는 여러 가지 복합적인 요인들로 인해 발생하고 있습니다. 이 중 가장 중요한 원인으로는 훈련 데이터의 한계와 경제적 도전을 꼽을 수 있겠네요. 고품질의 훈련 데이터는 대부분 이미 사용되었고, 새로운 데이터를 확보하는 것은 점점 더 어려워지고 있습니다. AI 모델이 더 좋은 성능을 발휘하기 위해서는 다양한 고품질 데이터가 필요하지만, 이를 확보하는 데에는 한계가 있어요.
부족한 학습데이터를 대체하는 합성데이터가 중요하긴 한데, 문제는 품질이다. (DALL-E)그래서, OpenAI는 부족한 데이터를 보충하기 위해 합성 데이터를 활용하고 있습니다. 합성 데이터는 AI 모델이 스스로 생성한 데이터를 말하며, 이는 기존의 훈련 데이터를 대체하거나 보완할 수 있는 중요한 방법이죠.
Orion 모델은 GPT-4에 비해 더 높은 훈련 비용과 운영 비용이 예상됩니다. AI 모델의 크기가 커질수록 계산 자원이 더 많이 필요하고, 그만큼 비용도 급증하는 상황이에요. 특히, 데이터 센터 운영 비용이 상당히 증가하고 있습니다. OpenAI는 모델 경량화와 효율적인 하드웨어 사용을 통해 비용을 절감하려고 노력하고 있습니다. 더 적은 자원으로 비슷한 성능을 내기 위해 다양한 최적화 기법이 도입되고 있죠.
OpenAI는 그럼 성능 정체를 어떻게 극복할까?
OpenAI는 성능 개선의 둔화에 대응하기 위해 앞에서 언급한 합성 데이터 사용과 추론 능력 중심의 접근법을 강화하고 있는 걸로 보입니다. 합성 데이터는 AI가 생성한 데이터를 훈련 데이터로 사용하는 방법으로, 데이터 부족 문제를 해결할 수 있는 중요한 방법입니다. 특히 개인정보 보호 문제를 피할 수 있는 장점도 있어요.
그러나, 합성 데이터의 효과와 한계도 명확합니다. 더 많은 데이터를 빠르게 생성할 수 있으며, 특정 도메인에 특화된 데이터를 생성할 수 있다는 점도 큰 장점입니다. 그럼에도 합성 데이터는 실제 데이터의 복잡성을 완전히 재현하지 못할 수 있어, 일반화 문제에 직면할 가능성도 있습니다.
OpenAI는 모델의 추론 능력 향상에 중점을 두고 있습니다. OpenAI의 o1모델의 공동연구자인 Noam Brown의 새로운 접근법은 모델의 훈련보다는 추론 과정의 효율성을 극대화하는 것을 목표로 하고 있어요. 추론 중심의 모델은 더 적은 파라미터로 높은 성능을 유지하고, 모델의 이해력과 응답 정확성을 향상시킨다는 것을 보여준 바가 있죠. 그래서 OpenAI는 LLM과 o1 및 에이전트 AI 등의 여러 추론 접근 방식을 조합해서 접근하려고 하는 듯 합니다.
이런 극복방식은 Keras의 창시자로 알려진 François Chollet가 AI시스템을 개발함에 있어서 딥러닝만으로는 한계가 있고, 이를 위해서는 딥러닝과 함께 이산 검색을 결합하는 방식이 유효하다고 주장한 것과 비슷합니다. 즉, Gemini 2.0이 다국어 모델로 더욱 많은 파라메터와 데이터로 학습하는 것의 한계를 극복하는 다른 방식은 서로 다른 추론 도구들을 결합하고, 다양한 추론의 결과물들을 조합해서 정답을 찾아가는 방식이 되는 것이 아닌가 생각이 듭니다.
물론, 구글의 방식이든 OpenAI의 방식이든 투자되어야 할 비용만 수십억 달러에 이르고, 더 많은 데이터센터가 구축되어야 할 것으로 보이는데요. 샘 알트만이 말한 AGI로 가는 길은 이제 명확해졌고, 우리는 실제로 무엇을 하는지 알고 있다면서 "처음에 생각했던 것보다 Level 4 수준의 혁신적인 AI에 도달하는 것이 더 쉬울 것"이라면서, 사람들의 예상보다 더 빠르게 진행될 것이라고 말했는데요. 정말 이런 방식으로 AGI가 만들어 지는 지름길이 환경파괴와 에너지 낭비라는 결과만 만들어내는 것은 아닐까 우려도 됩니다.
AGI와 고성능의 모델이 AI의 지금 목표가 아니면 안될까?
AI 성능 둔화는 OpenAI뿐 아니라 다른 주요 기업들도 겪고 있는 문제입니다. Google, Anthropic 등 주요 AI 기업들이 비슷한 문제를 보고하고 있으며, 이는 AI 산업 전반에 걸쳐 큰 영향을 미치고 있어요. 이제 AI 기술은 단순히 더 큰 모델로 성능을 개선하는 전략에서 벗어나, 새로운 접근이 필요해진 것은 아닐까요?
더 뛰어난 슈퍼카가 등장하지 않아도 아직, 현재의 자동차가 제대로 달릴 도로가 없다면 아무 소용이 없겠죠. 즉, 현재의 AI를 비즈니스와 우리의 삶에서 제대로 소화해 내고 있는가에 대한 질문을 먼저 던져봐야 합니다. 지금의 우리는 일종의 오버엔지니어링 상태와 기술적 부채가 아닌 인버스 개념의 부채를 안고 있지 않을까요?
현재의 AI 모델과 IoT의 놀라운 발전(Matter가 드디어 조금씩 이름값을 하고 있죠), 로보틱스의 개선과 디지털 트윈 등의 다른 기술과의 복합된 결합(Combine)으로 조금씩 나아간다는 생각은 왜 하지 않을까요? 요즘은 일종의 디지털기기를 구매하는 패러독스에 빠진 느낌입니다. 더 좋은 새로운 모델이 나올 것을 기다리면서, 거실의 TV를 교체하지 못하고 있는 누군가처럼 말입니다. 샘 알트만의 AI가 AGI로 갈 수 있을지, 없을지만을 기다리면서 말이죠.
