오픈AI에 도전하는 오픈소스 LLM들이 풀어야할 숙제들
학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 번역 과정에서 의미 전달이 애매한 일부 문장은 삭제했습니다. 이번 글은 미디엄에 올라온 소프트웨어 엔지니어 아사프 엘로빅의 글을 정리한 것 입니다.
오픈소스 모델의 급속한 발전으로 인해 이들 모델이 Google, Facebook, Microsoft와 같은 기존 기업에게 중대한 도전이 될 수 있다는 믿음이 있다. 오픈 소스 모델이 빅테크 기업들 힘을 해체한다는 아이디어는 많은 사람들에게 매력적이지만, 현실을 직시하고 오픈 소스 커뮤니티가 독점 모델과 경쟁할 때 여전히 직면하고 있는 주요 장벽을 인식하는 것이 중요하다. 자세히 알아보자.
오픈 소스 AI: 성공적인 언더독
최근 몇 달 동안 오픈 소스 AI 커뮤니티는 온라인에 유출된 인상적인 첫 오픈 소스 LLM인 Meta의 LLaMA를 시작으로 상당한 발전을 목격하고 있다. 이로 인해 팔콘( Falcon), 알파카( Alpaca), 비쿠나(Vicuna) 등 ChatGPT에 대항할 수 있는 혁신적인 연구와 창의적인 개발들이 쏟아지고 있다.
아래에서 볼 수 있듯 이들 오픈 소스 모델은 비쿠나가 구글 바드를 거의 능가할 정도가 됐다. ChatGPT보다 더 적은 파라미터를 사용하지만(175억 개에 비해 13억 개), Vicuna는 "ChatGPT 품질 90%의 오픈 소스 챗봇"으로 소개됐고 테스트에서 좋은 점수를 받았다.
한 가지 주목할 만한 점은 새로운 미세 조정 기술인 LoRA를 통해 저렴하게 확장성 문제를 해결한 비쿠나 커뮤니티 솔루션이다. 컨설팅 회사인 Semianalysis는 "우리는 해자가 없다"며 전 세계 오픈소스 인력의 힘을 견딜 수 없다고 주장하며 오픈소스 커뮤니티를 진정한 경쟁자로 간주하는 Google 엔지니어 문서를 유출하기도 했다.
오픈 소스 모델의 가장 강력한 사례는 강력한 AI가 필요하지 않을 수 있는 소규모 틈새 영역을 혁신할 수 있는 잠재력이며, 더 작고 저렴한 오픈 소스 모델을 학습시키는 것만으로도 충분할 수 있다는 점이다. 오픈 소스 모델은 커스터마이징이 더 쉽고, 학습 데이터에 대한 투명성을 높이며, 비용, 결과물, 개인 정보 보호 및 보안을 더 잘 제어할 수 있으므로 엔터프라이즈 기업들에게도 큰 도움이 될 수 있다.
하지만 오픈소스 AI에는 기존 회사들에게 결코 위협이 아님을 보여주는 몇가지 단점들도 있다.
기존 기업들은 더 많은 자원과 자본이 있다
델리에서 열린 한 행사에서 OpenAI CEO인 샘 알트먼은 1000만 달러 예산으로 3명의 인도 엔지니어가 OpenAI와 유사한 프로젝트를 개발할 수 있겠느냐는 질문을 받았다. 알트먼은 인도의 제한된 자원을 가진 젊은 팀이 OpenAI에 필적하는 AI 모델을 개발하는 것은 사실상 '절망적'이라고 답했다. 그는 "우리와 기초 모델 구축에서 경쟁하는 것은 절대로 희망이 없으니 시도하지 말라고 말씀드리고 싶다"고 덧붙였다.
"저런 말을 할 수밖에 없지"라고 생각할 수도 있겠지만, 그가 한 대답의 근거는 완전히 이해가 된다. OpenAI의 수석 과학자 일리야 수츠케버는 "GPU가 많을수록 모델이 더 좋아진다"고 잘라 말했다. 다시 말해, 자본과 자원이 많을수록 더 나은 모델을 얻을 수 있다는 것이다. 일리아는 자본과 엔지니어링 리소스 부족으로 인해 학계 연구가 강력한 기존 플레이어들에 비해 항상 뒤처져 왔고 앞으로도 그럴 것으로 보고 있다.
2021년부터 기존 업체들은 빠르게 경쟁에 뛰어들어 현재 소규모 업체보다 성능이 뛰어난 폐쇄형 및 개방형 모델을 모두 제공하고 있다.
LLM 모방의 결점과 단점
오픈 소스 모델에서 심각한 문제는 독점 모델과 경쟁하려고 할 때 사용되는 알고리즘에 있다. UC 버클리의 새로운 연구에 따르면, 오픈 소스 AI 모델이 출력을 미세 조정하거나 보다 나은 모델 출력 등 영리한 기술을 채택했음에도 개방형 모델과 폐쇄형 모델 간에 상당한 '기능 격차'가 여전히 존재한다. 이런 방식으로 미세 조정된 모델은 모방한 모델 스타일을 채택하지만 사실성은 향상되지 않는다. 그 결과, 오픈 소스 커뮤니티는 최첨단 모델을 사전 학습시켜야 하는 어려운 과제에 직면해 있으며, 이는 조만간 달성하기 어려울 것으로 보인다.
오픈 소스 AI의 또 다른 내재적 장애물은 온디바이스 추론의 하드웨어적 한계다. 컴퓨터나 스마트폰과 같은 로컬 디바이스에서 작고 저렴한 맞춤형 언어 모델을 실행한다는 아이디어는 매력적이지만, 현재 하드웨어 한계로 인해 Google이나 OpenAI에서 제공하는 것과 같은 독점 서버 호스팅 모델 성능을 따라잡는 것은 불가능하다.
메모리 장벽( memory wall)과 데이터 재사용 문제, 해결되지 않은 하드웨어 트레이드오프, 쿼리 간 병렬화 부족과 같은 기술적 과제로 인해 오픈소스 AI 모델은 달성 가능한 효율성에 상한선이 있다.
기존 기업들은 실제로 해자를 갖고 있다
기존 기업들이 수행하는 비즈니스 전략은 오픈소스 모델이 따라올 수 없는 이점을 제공힌다. 기존 기업들은 자신들 입지를 보호하는 강력한 해자를 갖고 있다. 이들은 재정적 자원, 인재, 브랜드, 독점 데이터, 권력을 보유하고 있을 뿐만 아니라 매일 수십억 명 사람들이 사용하는 제품들 유통을 통제하고 있다. 선도적인 기술 기업들은 제품을 개선하고 AI를 제품에 필수 요소로 삼아 이러한 이점을 활용하고 있다.
예를 들어, Google은 최근 검색, Gmail, 문서 도구에 새로운 AI 기능을 출시했다. Microsoft는 Office 및 Bing에 유사한 기능을 출시했을 뿐만 아니라 OpenAI와 협력해 Azure에서 완전한 클라우드 서비스 제품군을 제공해 기업이 대규모로 AI를 활용할 수 있도록 지원한다. Microsoft는 전 세계 소프트웨어 엔지니어를 위한 두 가지 주요 서비스인 GitHub와 VStudio를 소유하고 있으며, Copilot을 통해 이미 괄목할 만한 도약을 이뤘다. 뒤를 이어 Amazon이 Amazon Bedrock과 Codewhisperer와 같은 새로운 서비스를 AWS에 추가했다. 엔비디아는 최근 기업들이 생성 AI 및 다른 애플리케이션을 위한 고급 모델을 훈련하는 데 필요한 인프라와 소프트웨어에 즉시 액세스할 수 있는 AI 슈퍼컴퓨팅 서비스인 DGX 클라우드를 출시했다.
이들 사례는 빙산의 일각에 불과하다. Adobe Firefly, Salesforce, IBM 등 보다 많은 시장 선도 업체들 사례가 있다.
혁신가의 딜레마 이론에 따르면 적절한 상황에서는 오픈소스 모델이 기존 기업을 무너뜨릴 수 있는 기회가 있을 수 있다. 하지만 현실은 이러한 이상적인 시나리오와는 거리가 멀다. 생성 AI는 선도적인 기술 기업이 이미 구축한 제품군 및 생태계과 완벽하게 맞아 떨어진다.
이와 달리 스타트업과 오픈소스 모델들은 금융, 법률, 기타 전문 서비스 등 기존 기업들이 경쟁하거나 노력을 집중할 가능성이 낮고, 오픈소스 모델이 해당 분야에 더 맞춤화되고 최적화될 수 있어 이점이 될 수 있는 분야에서는 혁신을 일으킬 수 있는 좋은 기회가 될 수 있다.
오픈소스 AI 모델들이 계속 직면하고 있는 어려움
요약하면, 오픈소스 커뮤니티 발전은 분명 인상적이지만, 장기적으로 독점 모델과 경쟁하기에는 여전히 많은 도전들에 직면해 있다. 또한 독점 모델은 시간이 지남에 따라 훨씬 더 저렴하고, 빠르고, 최적화 가능하고, 안전하고, 강력해지면서 개선될 것이라고 가정하는 것이 합리적이다.
알고리즘부터 하드웨어 제약, 기존 기업들의 불공정한 우위들에 이르기까지 오픈 소스 모델은 기존 거대 기업을 뒤흔드는 데 필요한 수준의 성공과 수용을 달성하기 위해 힘든 싸움에 직면해 있다. AI가 기존 기업들이 제공하는 제품과 서비스에 점점 더 범용 상품화됨에 따라 오픈소스 모델이 현재 역학 관계를 효과적으로 뒤집을 가능성은 더욱 줄어들고 있다. 오픈소스 모델의 미래는 큰 잠재력을 보여 주지만, 현실적인 관점을 유지하고 이를 가로막는 엄청난 장애물을 인식하는 것이 중요하다.
