라마(Llama), 메타의 오픈소스 모델 혁신을 가속화
AI(Claude3)가 작성 보고서 시리즈
AI(Claude3)가 작성한 「전년동기 대비 10배, 총3.5억 D/L의 Llama:메타의 오픈소스 AI 모델, 혁신을 가속화하다」보고서(2024.09.02.)
글쓴이 Claude 3(by Anthropic), 프롬프팅·편집 신동형(donghyung.shin@gmail.com)
#저는프롬프팅만했습니다.
#AI가작성했습니다.
1. 메타의 오픈소스 AI 전략 배경
메타는 AI 기술의 발전과 대중화를 위해 오픈소스 전략을 채택했습니다. 이는 AI 혁신을 가속화하고, 개방적이고 경쟁력 있는 AI 생태계를 구축하기 위한 메타의 비전을 반영합니다. 메타 CEO 마크 저커버그는 Llama 3.1 출시와 함께 발표한 공개서한에서 "오픈소스는 메타의 DNA에 내재되어 있으며, Llama는 우리의 기술을 책임감 있게 공유하겠다는 약속의 구현체"라고 강조했습니다.
오픈소스 전략은 더 많은 개발자와 기업이 AI 기술에 접근할 수 있도록 하여 경쟁을 촉진하고, 소비자와 기업, 나아가 사회 전반에 이익이 될 것으로 메타는 기대하고 있습니다. 마치 어린 아이들이 블록 장난감을 가지고 자유롭게 창작활동을 하듯이, Llama는 전 세계 개발자들에게 창의력을 마음껏 발휘할 수 있는 도구를 제공하고 있습니다.
인포시스의 산드로 보벨리 제너럴 AI 아키텍트는 "오픈소스는 재미있고 우리의 기술을 갈고닦는 데 도움이 된다"며, "오픈소스 생태계 덕분에 막대한 비용을 들이지 않고도 최고의 기술을 직접 다룰 수 있게 되었다"고 말했습니다. 이는 오픈소스가 대기업뿐만 아니라 중소기업과 개발자 개인에게도 새로운 기회를 제공함을 보여줍니다.
2. Llama 3.1의 주요 특징과 성과
2.1. 개발자 커뮤니티 확산
Llama 3.1은 공개 이후 한 달 만에 개발자 커뮤니티에서 엄청난 인기를 얻었습니다. 오픈소스 플랫폼인 휴깅페이스(Hugging Face)에서의 다운로드 수는 2,000만 건을 돌파했으며, 출시 18개월 만에 누적 다운로드 수는 3.5억 건에 육박했습니다. 이는 전년 대비 10배 이상 증가한 수치입니다.
Llama를 기반으로 한 파생모델도 6만 개 이상 등장했는데, 이는 금융, 고객지원, 게임 등 다양한 분야에서 개발자들이 자발적으로 참여하여 만들어낸 결과물입니다. 마치 어떤 인기 있는 레시피가 등장하면 사람들이 저마다의 방식으로 요리를 만들어내는 것과 같습니다.
인포시스 역시 Llama를 활용하여 내부 운영을 위한 다양한 활용 사례를 개발해 왔습니다. 처음에는 문서 처리에 Llama를 적용했으나, 점차 동영상, 이미지, 구조화된 데이터 분석으로 그 영역을 넓혀갔습니다. 인포시스는 Llama를 법률 계약서, 송장, 구매 주문서, 연구 문서, 교육 동영상 등 다양한 유형의 문서 처리에 활용하고 있습니다.
2.2. 대형 클라우드 사업자와의 제휴
메타는 Llama 3.1의 상용화를 가속하기 위해 AWS, Microsoft Azure, Google Cloud 등 주요 클라우드 사업자들과 제휴를 맺었습니다. 그 결과, 이들 플랫폼을 통한 Llama 모델 사용량은 출시 3개월 만에 2배 이상 증가했습니다. 일부 사업자의 경우 2024년 1월 대비 7월 사용량이 10배나 급증하기도 했습니다.
또한, 메타는 Llama 3.1을 활용하고자 하는 기업을 대상으로 조기접근 프로그램을 운영하고 있는데, 파트너 수는 5배나 확대되었습니다. 이는 마치 새로운 게임기가 출시되면 게임 개발사들이 앞다투어 제휴를 맺는 것과 같은 이치라고 볼 수 있습니다.
2.3. 다양한 산업 분야에서의 활용사례
Llama 3.1은 다양한 산업 분야에서 폭넓게 활용되고 있습니다. 통신 대기업 AT&T는 Llama를 활용하여 고객응대 정확도를 33% 향상시켰으며, 컨설팅 기업 액센추어는 ESG 리포팅 업무의 생산성을 70%나 높일 수 있을 것으로 기대하고 있습니다.
배달 플랫폼 도어대시(DoorDash)는 소프트웨어 개발 효율화에 Llama를 활용하고 있으며, 이커머스 기업 쇼피파이(Shopify)는 상품 메타데이터 처리에 하루 4,000만 건에서 6,000만 건의 Llama 추론 작업을 수행하고 있습니다. 화상회의 플랫폼 줌(Zoom)은 회의록 작성 등 단순 반복 업무 자동화에 Llama를 도입했습니다.
줌은 자사의 AI 어시스턴트인 'Zoom AI Companion'에 Llama를 비롯한 자체 모델, 상용 모델, 오픈소스 모델 등을 결합한 연합학습(Federated Learning) 방식을 채택했습니다. 이를 통해 줌은 요약문 생성, 스마트 녹화, 후속 작업 제안 등의 기능을 무료로 사용자에게 제공하고 있습니다.
줌 CTO 쉐동 황은 "파운데이션 모델 덕분에 줌 AI Companion 개발 시 처음부터 모델을 만드는 대신 특정 사용 사례와 고객 요구사항에 집중할 수 있었고, 이는 출시 시간을 단축하는 데 크게 기여했다"고 설명했습니다. 줌은 Llama와 같은 고품질 오픈소스 모델을 연합학습에 포함시킴으로써, 고객 데이터를 자사 서버 내에서 안전하게 보호하면서도 뛰어난 성능을 제공할 수 있게 되었습니다.
이러한 활용사례들은 마치 만능 도우미가 등장하여 사람들의 일상 속 크고 작은 불편함을 해결해주는 것과 같습니다. Llama는 다양한 산업 분야에서 인간의 지적 노동을 보조하고 증강하는 역할을 수행하고 있습니다.
3. 오픈소스 AI 생태계의 미래 전망
Llama 3.1의 성공은 오픈소스 AI 생태계의 밝은 미래를 예고하고 있습니다. 개발자 선호도 조사에서 Llama는 고려 모델 2위, 오픈소스 부문 1위를 차지했습니다. 세계적인 GPU 기업 엔비디아의 CEO 젠슨 황은 "Llama가 최첨단 AI 발전에 깊은 영향을 미쳤다"고 평가했으며, AWS는 "고객들이 Llama 3.1을 통해 가장 복잡한 활용사례를 해결할 수 있을 것"이라고 내다봤습니다.
메타의 오픈소스 전략은 AI 기술의 대중화와 민주화를 촉진하고, 혁신적인 아이디어와 활용사례가 끊임없이 창출되는 선순환 구조를 만들어낼 것으로 전망됩니다. 이를 통해 AI 산업 전반의 경쟁력이 높아지고, 사회 전반에 걸쳐 AI 기술의 혜택이 고루 분배될 것입니다.
마치 인터넷이 등장한 초창기에 웹 표준의 개방성이 온라인 생태계의 폭발적인 성장을 이끌어냈던 것처럼, 오픈소스 AI 생태계의 확산은 디지털 트랜스포메이션 시대의 새로운 혁신 동력이 될 것입니다.
엔비디아는 구조화된 가중치 가지치기(Structured Weight Pruning)와 지식 증류(Knowledge Distillation) 기법을 활용해 Llama 3.1 8B 모델을 기반으로 경량화된 Llama-Minitron 3.1 4B 모델을 만들었습니다. 이는 처음부터 새로 학습하지 않고도 대형 모델의 크기를 줄일 수 있는 방안을 제시한 것으로, 향후 LLM의 대중화에 기여할 것으로 기대됩니다.
인포시스의 투샤르 케사르카르 산업 책임자는 "일반적으로 중소기업은 예상치 못한 기술 발전에 대응하기 위해 한발 물러서서 자원을 투입할 여력이 부족해 대기업에 비해 불리한 입장에 놓일 수 있다"며, "최신 기술 동향을 파악하는 것만으로도 풀타임 직업이 될 수 있다"고 지적했습니다. 이어 "최선의 접근 방식은 AI 기술에 뛰어들어 배우고, AI가 어떻게 도움이 될 수 있을지 열린 마음으로 살펴보는 것"이라고 조언했습니다.
줌 역시 LLM 활용 시 보안과 개인정보 보호, 추론 지연 시간 등의 어려움이 있었으나, 연합학습과 자체 인프라 투자를 통해 이를 극복해 나가고 있다고 밝혔습니다. 쉐동 황 CTO는 "개방형 협업 플랫폼을 추구하는 줌의 비전에 오픈소스 정신이 부합한다"며, "개발 비용 절감뿐 아니라 업계 전반의 공정한 경쟁 환경 조성에도 오픈소스가 기여할 것"이라고 강조했습니다.
4. 결론 및 시사점
Llama 3.1의 사례는 오픈소스 전략이 AI 기술 발전의 촉매제가 될 수 있음을 보여줍니다. 개방성과 협력을 바탕으로 한 생태계 조성이 개발자와 기업의 자발적 참여를 이끌어내고, 혁신의 선순환 구조를 만들어낼 수 있기 때문입니다.
메타는 Llama 프로젝트에서 축적한 기술과 경험을 자사 제품 및 서비스에 접목하여 AI 시대를 선도해 나갈 계획입니다. 인스타그램, 페이스북, 메신저 등 메타의 주요 플랫폼에는 이미 AI 어시스턴트가 탑재되어 있으며, 향후 메타의 VR 기기인 퀘스트와 AR 글래스인 레이밴 스토리즈 등으로 그 적용 범위를 넓혀갈 전망입니다.
Llama 3.1은 기술 발전과 개방성이 선순환을 이루는 새로운 혁신 모델을 제시하고 있습니다. 기업과 개발자, 그리고 소비자가 함께 참여하고 협력하는 오픈소스 AI 생태계는 기술 발전의 과실을 모두가 함께 나누는 디지털 공동체의 모습을 보여줍니다. 앞으로도 이러한 노력이 지속된다면 AI 기술은 더욱 빠른 속도로 대중화되고, 사회 전반의 혁신을 이끌어갈 것입니다.
중소기업과 개발자 개인에게도 오픈소스 AI는 큰 기회가 될 수 있습니다. 인포시스의 케사르카르 산업 책임자가 지적했듯이, 거대 기업이 아니더라도 고품질의 오픈소스 모델을 활용해 자신들의 고객과 시장에 특화된 서비스를 개발할 수 있게 된 것입니다. 오픈소스 덕분에 이제 AI는 소수의 전유물이 아닌, 모두를 위한 기술이 되었다고 할 수 있습니다.
물론 오픈소스 AI가 만능은 아닙니다. 줌의 사례에서 볼 수 있듯이 보안, 개인정보, 성능 등 실제 상용 서비스에 적용하기 위해서는 추가적인 노력과 투자가 필요합니다. 그러나 오픈소스를 통해 더 많은 기업과 개발자가 AI 기술에 참여할 수 있게 되었고, 이는 장기적으로 AI의 발전과 혁신을 가속화하는 토대가 될 것입니다.
엔비디아의 경량 모델 연구는 향후 AI 기술의 또 다른 방향성을 제시합니다. 고성능 컴퓨팅 자원의 제약으로 그동안 대형 언어모델의 활용이 쉽지 않았던 환경에서도 충분한 성능을 발휘할 수 있는 최적화 방안이 마련된다면, AI 기술의 진입장벽은 한층 더 낮아질 수 있을 것입니다.
Llama 3.1로 대표되는 오픈소스 AI 혁신이 앞으로 어떤 모습으로 진화해 나갈지 주목됩니다. 분명한 것은 개방과 협력, 그리고 창의적 활용이 AI 시대를 이끄는 핵심 동력이 될 것이라는 점입니다. 다양한 분야의 기업과 개발자, 그리고 일반 사용자들이 AI 기술의 발전과 활용에 적극 참여함으로써 모두를 위한 지능정보사회를 한 걸음 더 앞당길 수 있기를 기대합니다.
Llama는 메타에서 개발한 오픈소스 대형 언어 모델(Large Language Model, LLM)입니다. 메타는 Llama 모델을 아파치 라이선스 2.0(Apache License 2.0)에 따라 공개하고 있습니다[5]. 아파치 라이선스는 개발자들이 모델을 자유롭게 사용, 수정, 배포할 수 있도록 허용하는 대표적인 오픈소스 라이선스입니다. 다만 Llama를 활용한 결과물을 배포할 때는 아파치 라이선스 2.0을 따라야 하며, 메타에 관한 권리 고지를 포함해야 합니다.
#Llama #LLM #오픈소스 #아파치라이선스 #혁신 #AI모델 #메타 #대형언어모델 #open source #Apache License
참고자료
With 10x growth since 2023, Llama is the leading engine of AI innovation (Meta, 2024)
Working with Llama 3.1, the Infosys team says open source is the future (Meta, 2024)
How NVIDIA is using structured weight pruning and knowledge distillation to build new Llama models (Meta, 2024)
Zoom leverages Llama in its federated approach to A (Meta, 2024)
