메타 ‘라마2(Llama-2)’ AI 오픈 소스 선물
이용호가 말하는 ‘생활 속의 인공지능’
[사진출처=메타]이전에 뻔뻔한 거짓말, 할루시네이션(Hallucination)에 대해 쓴 칼럼에서 생성형 AI가 가져올 위험성에 대해 이야기 한 바가 있다. 2023년 2월 24일 메타가 라마라는 인공지능 오픈소스를 대중에게 공개한 후 일주일 만에 스탠퍼드대학에서 라마보다 뛰어난 기능의 알파카를 출시하였고, 그 후 단 2개월 동안 GPU가 아니 맥북 CPU에서도 돌아가는 솔루션, GPT4.0과 유사한 비쿠나Vicina, GPT-4 All, 버클리의 코알라Koala, 오픈 어시스턴트의 챗GPT와 유사한 완전 개방형 RLHF(인간의 피드백을 통한 강화학습) 모델 등의 출시가 봇물처럼 이루어 졌다. 이후 5개월 더 지난 현재는 확산 속도가 너무 빨라 상세한 내용을 파악하기도 힘든 지경이다. 이들 AI 오픈소스가 가져올 위험들은 이미 ‘판도라의 상자가 열렸다’는 표현을 쓰는 게 적절한 만큼 단순한 염려에 끝나지 않을 것이라는 게 전문가들의 우려이다.
이런 와중에 오픈소스 기술을 선도하고 있는 메타 (이전의 페이스북)가 대형언어모델 (Large Language Model, LLM) '라마2'를 상업적으로 사용 가능한 무료 오픈소스로 또 배포했다. 이번 배포는 연구 목적으로 공개했던 첫 번째 '라마'의 사용자들로부터 상업적 용도로도 활용할 수 있도록 요구를 받고 이에 응답한 것으로 보인다. 메타의 이런 움직임은 인공지능(AI) 분야에서 경쟁력을 신속하게 확보하려는 전략이라고 볼 수 있다.
최근 개발된 LLM들이 '라마'를 바탕으로 속속 등장하고 있다. 스테빌리티AI는 이미지 생성 AI인 '스테이블LM'을 출시했고, 독일 비영리단체 오픈어시스턴스는 챗gpt와 유사한 기능을 가진 '허깅챗'을 선보였습니다. 이 모든 모델들은 70억~650억 개의 파라미터(매개변수)를 가진 라마를 기반으로 개발되었고, 이는 구글의 LLM 팜2(5400억 개), 챗gpt를 돌리는 GPT-3.5(1750억 개)에 비해 상당히 적은 수치이다. IT업계 관계자들은 매개 변수가 적은 만큼 성능은 떨어지지만, AI 모델을 구축하는 데 걸리는 시간은 줄어들며, 이는 개발자들에게 AI 모델 개발의 기본 소스를 제공한다는 의미가 있다고 설명했다. 반면에 한꺼번에 처리할 수 있는 컨텍스트 창은 4096개 토큰으로 기존 모델 대비 크게 증가한 점이 주목받고 있다. 컨텍스트 창이 넓어질수록 한 번에 명령어에서 처리할 수 있는 정보량이 증가하는 이점이 있다.
메타는 라마2가 이전 모델에 비해 40% 이상 많은 데이터를 학습했으며, AI가 만들어 내는 뻔뻔한 거짓말인 '할루시네이션'의 위험성을 크게 줄였다고 밝혔다. 이런 개선은 사용자의 활용도를 향상시키는 데 크게 기여할 것으로 예상된다.
업계에서는 학계를 중심으로 형성되고 있는 '라마 동맹'이 구글과 오픈AI의 경쟁력에 큰 도전장을 제기할 것으로 보고 있다. 특히 메타가 계획한대로 라마의 파라미터를 1000억 개로 확대한다면, '라마 동맹'의 경쟁력은 더욱 강화될 것으로 예상된다. 반면, AI 분야에서 경쟁하는 구글은 메타의 오픈소스 공개에 부정적인 입장을 취하고 있다. 구글의 연구부사장 조빈 가라마니는 최근 인터뷰에서 "생성 AI는 논란이 많은 분야"라며 "오픈소스 코드 공개에 신중해야 한다."고 강조했다.
GPT-4 및 Palm 2와 같은 경쟁 제품과 차별화되는 라마2의 뛰어난 기능은 오픈 소스 가용성이다. OpenAI 및 구글과 같은 조직은 LLM으로 AI를 개발하려는 회사로부터 상당한 비용을 청구하지만 라마2는 AI 기술을 발전시키기 위해 누구나 자유롭게 활용할 수 있기 때문이다. 업계 관계자들은 이번 움직임을 신규 진입자들이 시장 침투력을 높일 수 있는 전략적 기회의 단계로 보고 있다. 오픈 소스 LLM의 지속적인 개선이 현재 폐쇄 소스 LLM의 시장 지배력을 점진적으로 잠식할 수 있다는 인식이 커지고 있다. 이는 오픈 소스 모델이 감당할 수 있는 낮은 운영 비용과 감소된 종속성 때문이다. 또한 소스코드를 오픈 소스화 하기로 한 결정은 시장 확대를 자극할 가능성이 크다. 여러 개발자가 성능을 수정할 수 있으므로 오픈 소스 LLM의 전체 기능이 빠르게 향상될 수 있다.
메타의 CEO인 마크 저커버그는 최근 오픈 소스 개발의 혁신 잠재력을 확인하면서 "새로운 기술을 만드는 데 더 많은 개발자 풀을 참여시킴으로써 창의성을 촉진하고 보안도 강화한다"라고 덧붙였다. 이전 모델은 오픈 소스이지만 상업용으로 설계되지 않았기 때문에 개발자가 수많은 과제를 해결해야 했다. 그러나 상업적 용도로 설계된 새로운 모델의 출시는 기술 산업, 특히 폐쇄형 모델 정책을 고수해 온 구글과 같은 거대 기업 사이에 파문을 일으키고 있다. 이러한 변화는 오픈 소스 접근 방식을 선호하는 수많은 개발자들에게 열광적인 환영을 받고 있다. 그래서 신제품 '라마2'는 출시 당일 AI 모델 플랫폼 '허깅페이스(Hugging Face)' LLM 리더보드에서 1위를 차지했다.
메타는 마이크로소프트의 애저 클라우드(Azure Cloud), Amazon의 AWS 및 허깅페이스를 통해 라마2에 액세스할 수 있도록 하는 것을 목표로 한다. 월스트리트 저널을 비롯한 여러 국제 언론 매체에 따르면 마이크로소프트는 연례 파트너 컨퍼런스인 Inspire 2023에서 애저 클라우드 고객이 메타의 새로운 LLM인 '라마2'에 액세스할 수 있다고 발표한바 있다. 이는 '라마2'가 마이크로소프트의 애저 서비스를 통해 제공될 것임을 의미한다. 애저를 통해 메타의 최신 LLM 제품을 제공하기로 한 마이크로소프트의 결정은 주로 OpenAI에 집중된 AI 서비스를 다양화하기 위한 전략적 움직임으로 보인다. 기존의 폐쇄 소스 LLM과 새로운 오픈 소스 LLM을 모두 제공함으로써 마이크로소프트는 클라우드 서비스 시장에서 경쟁 우위를 강화할 것이다. 메타의 관점에서 볼 때 상업적 목적의 오픈 소스 LLM을 클라우드 서비스로 제공하는 것은 시장 영역을 확장할 수 있는 기회를 제공받게 된다.
마이크로소프트는 2019년부터 챗gpt 개발회사 OpenAI와 전략적 파트너십을 맺었기 때문에 메타와의 이번 파트너십 발표는 의미 있는 움직임으로 평가된다. 라마2는 사용료가 필요 없는 오픈 소스 모델로 제공되는 반면 마이크로소프트는 애저 서비스 사용에 대해 요금을 부과한다는 점에 주목할 필요가 있다. 더불어 메타는 OpenAI 파트너십을 맺고 2024년부터 라마2를 퀄컴의 모바일 및 PC 칩에 통합할 계획이라고 발표했다. 이 이니셔티브는 LLM을 모바일 또는 PC 플랫폼에서 개인 비서로 배포하려는 '에지 AI'를 염두에 둔 것이다. 목표는 중앙 집중식 데이터 센터에 의존하는 것과 달리 속도와 비용을 크게 줄이는 것이다.
생성형 AI의 춘추전국시대인 올해 수없이 많은 업체들이 신규 AI 모델들을 내어 놓고 있으며 동시에 각 회사들 간에 전략적 제휴가 활발하게 이루어지고 있다. 여기에서 최후의 승자가 누가 될지는 어떤 전문가도 쉽게 예측할 수 없다. 곧 마이크로소프트와 구글, 오픈AI 등생성형 AI의 견인차 역할을 하고 있는 초거대 기업들이 백악관이 요청으로 AI를 책임 있고 안전하게 사용할 것을 약속하는 8개 조항이 포함된 공개 서약서를 발표할 예정이라고 한다. 이는 그만큼 현재의 AI관련 합리적인 글로벌 규약이 만들어 지기도 전에 발전 속도가 너무 빠르게 진행되고 있고 더구나 오픈소스까지 배포된 상황에서 급한 마음에 취해진 최소한의 조치라고 생각한다.
인공지능 기술이 적용되는 분야에서 일을 하면서 누구보다 깊은 관심을 기울이고 지켜보는 나의 입장에서는 우리에게 다가온 AI라는 큰 기술이 부디 선한 방향으로 유도되어 세계 인류가 좀 더 행복한 삶을 영위할 수 있도록 잘 사용되기를 간절히 기원해본다.
| 작가 프로필
호몽 이용호는 스마트 공장에서 주로 사용되는 ‘머신비전’ 전문회사인 ‘호연지재’를 경영하고 있으면서 다양한 분야에 관심이 많아 메타버스와 유튜브 인플루언서로 활동하고 있다. 특히 ‘머신비전’에서 인공지능 딥러닝에 의한 영상처리기술을 자주 적용하다보니 AI 분야에 대해서도 해박한 지식을 가지고 있다. 또한 SKT 메타버스 플랫폼인 이프랜드(ifland)에서 매주 월요일 오후 9시에 정기적으로 ‘힐링토크쇼 호몽캠프’를 진행하고 있으며 86회 이상 진행된 토크쇼에는 작가, 강사, 가수, 연주가, 아티스트, 사업가 등 여러 분야의 전문가들이 초대되었다.
주요 강의 분야는 “챗gpt 시대 생활 속의 인공지능 발견하기”, “시니어와 MZ세대 간의 원활한 커뮤니케이션”, “시니어 세대 인플루언서 활동으로 인생 이모작”, “워라밸 시대 워크닉으로 행복한 인생 만들기” 등이 있으며, 저서로는 『나는 시니어 인플루언서다』가 있다.
