brunch

라이킷 10 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 이승필 Feb 28. 2023

메타 AI 라마 생성 AI 분야에 도전

메타 AI 라마: AI 산업의 새로운 경쟁자 등장.

메타-라마: 대규모 언어 모델의 미래

최근 10년간 인공지능 기술은 빠르게 발전해 왔으며, 그중에서도 대규모 언어 모델(LLM)은 가장 진보한 기술 중 하나이다. 이제는 새로운 LLM 중 하나인 메타-라마가 AI 연구 커뮤니티에 큰 인기를 끌고 있다. 이 모델은 자연어 처리(NLP)와 관련된 문제에 대한 새로운 해결책을 제시할 것으로 예상된다. 사람과 유사한 응답을 생성하는 데 뛰어난 능력을 보여주며, 전 세계 AI 애호가들의 주목을 받고 있다.

메타라마란 무엇인가?

LLaMA는 ChatGPT나 Bing와 달리 대화 기능을 가진 인공지능 시스템이 아니며, Meta에서 개발한 연구 도구다. 이 모델은 전문가들이 인공지능 언어 모델의 문제점을 파악하고, 그 문제를 해결하기 위한 정보를 제공한다. 이를 통해 전문가들은 인공지능 언어 모델에서 발생할 수 있는 편견이나 독성 등의 문제를 이해하고, 단순 정보 구성의 경향을 파악할 수 있다.

메타는 "연구 사용 사례에 초점을 맞춘 비상업적 라이선스"를 사용하여 대학, NGO, 산업 연구소 등과 같은 그룹이 LLaMA(여러 크기의 모델 4종류로 이루어진 시스템)에 액세스 할 수 있도록 허용하고 있다. 이를 통해 Meta는 AI 커뮤니티 전체가 책임감 있는 인공지능 기술과 대규모 언어 모델을 개발하기 위한 명확한 지침을 개발할 수 있도록 돕고자 한다.

메타에서는 "우리는 학계 연구자, 시민 사회, 정책 입안자, 산업계 등 전체 AI 커뮤니티가 협력하여 책임감 있는 AI 전반과 특히 책임감 있는 대규모 언어 모델에 대한 명확한 지침을 개발해야 한다고 믿습니다."라고 밝혔다. 또한, LLaMA를 사용하여 커뮤니티가 더 많은 것을 배우고, 최종적으로 더욱 발전할 수 있기를 바란다고 전했다.

메타의 대규모 언어 모델, LLaMA의 성능

최근 연구 논문에서, LLaMA-13B 모델이 GPT-3보다 성능이 더 뛰어나다는 결과를 발표했다. 또한, LLaMA의 가장 큰 모델인 LLaMA-65B는 DeepMind의 Chinchilla 70B 및 Google의 PaLM 540B와 같은 최고의 모델과 경쟁할 수 있다고 주장한다.

LLaMA-13B는 단일 데이터센터급 엔비디아 테슬라 V100 GPU에서 실행할 수 있으며, 이는 일부 소규모 기관에게는 좋은 소식이 될 수 있지만, 이러한 장비를 구비할 수 없는 1인 연구자에게는 큰 의미가 없을 수 있다.

AI 챗봇의 문제점과 LLaMA의 등장

Source: The Daily Beast

메타는 최근에 출시한 LLaMA 모델을 통해 인공지능 챗봇에 대한 이전의 부정적인 경험을 극복하고자 합니다. 이전에 출시한 블렌더봇이나 갤럭티카 챗봇은 그 성능이 좋지 않아 비판을 받았고, 사용자들로부터 호평을 받지 못했다.

그러나 LLaMA는 기존의 대규모 언어 모델보다 더 작지만 훨씬 더 민첩하게 작동하며, 더 다양한 작업에 대응할 수 있는 기능을 가지고 있다. 이에 따라, LLaMA를 통해 메타는 인공지능 챗봇의 이미지 개선에 나아갈 것으로 기대된다.

LLaMA는 다른 대규모 언어 모델과 마찬가지로 일련의 단어를 입력으로 받아 다음 단어를 예측하여 텍스트를 생성하는 방식으로 작동한다. 이 모델은 특정 작업을 위해 설계된 미세 조정 모델과 달리 다목적이며 다양한 사용 사례에 적용될 수 있도록 설계되었다. 또한, 다른 연구자들은 LLaMA 코드를 공유함으로써 대규모 언어 모델에서 발생할 수 있는 문제를 해결하기 위한 새로운 접근 방식을 보다 쉽게 테스트할 수 있다.