라마3란?
llama3
올해 4월 페이스북과 인스타그램을 운영하는 메타는 최신 LLM 모델인 라마3를 출시했습니다.
성능이 뛰어날뿐만 아니라, 오픈 소스이어서 상업적으로 이용 가능하여 많은 관심을 끌었습니다.
Llama3를 사용하는 방법은 Hugging Face와 Amazon Bedrock을 통해 사용하거나 Ollama와 같은 도구를 사용하여 로컬에서 실행하는 등 다양한 방법이 있습니다.
라마3란?
Meta에서 개발한 오픈 소스 대규모 언어 모델(LLM) 입니다.
오픈 소스 및 상업적 사용
챗GPT 와 같은 유료모델과 달리 Llama3는 오픈 소스 LLM입니다. API를 통해 GPT를 사용하는 경우 토큰 수에 따라 사용료가 부과되지만, 라마3는 무료로 사용할 수 있으며 상업적 목적으로 사용할 수 있습니다.
이미 기업 내부 FAQ 및 보고서작성 활동에 GPT를 사용하는 기업이 늘고 있지만 운영 비용을 절감하고 싶은 분들이 계실 것입니다. GPT를 Llama3로 대체한다면 상당한 비용 절감을 기대할 수 있습니다.
오픈 소스 모델 중 동급 최고의 성능
Chat with Open Large Language Models (lmsys.org) (5월9일기준)"아무리 비용이 낮아도 성능이 걱정된다"고 말하는 사람도 있을지 모르지만, 다양한 LLM 모델의 성능을 평가하는 사이트의 리더보드에서는 라마 3(70B 모델)가 6~7위 입니다. 성능 면에서 최고의 오픈 소스 모델 중 하나임이 분명합니다.
또한 메타에 따르면 라마 3는 이전 세대 라마 2의 성능을 크게 능가하며 8B 및 70B 매개변수를 가진 다른 LLM 모델에 비해 가장 진보된 성능이기도 합니다.
Llama 3의 성능이 여러 영역에서 우수함을 알 수 있고 특히나, 오픈 소스이기 때문에 미세 조정이 쉽기 때문에 다양한 영역에서 활용가능합니다.
학습 데이터의 95%가 영어로 되어 있습니다.
출시 당시 Llama3는 학습 데이터의 95%를 영어로 보유하고 있으며 5%는 30개 이상의 비영어권 언어로 되어 있습니다. 영어 이외의 언어로도 사용할 수 있지만, 영어로 사용했을 때만큼의 성능은 기대할 수 없다고 공식 발표하고 있습니다.
To prepare for upcoming multilingual use cases, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages. However, we do not expect the same level of performance in these languages as in English.
출처 : https://ai.meta.com/blog/meta-llama-3/
라마3 사용법
Llama3를 사용하는 방법은 다음과 같습니다.
로컬에서 환경 구축
기계 학습용 플랫폼인 Hugging Face를 통해 사용
메타의 공식 서비스 (https://www.meta.ai/) 사용
여기서 첫번째와 두번째는 AI개발자가 아니면 사용하기 어렵습니다. 세번째의 'meta.ai'는 라마3가 챗GPT처럼 사용할 수 있는 서비스인 것 같지만, 이 글을 쓰는 시점에는 아직 한국에서는 서비스가 나오지 않았습니다.
https://www.meta.ai/라마 3는 Groq 서비스에 사용할 수 있습니다.
「Groq」라는 서비스를 통해 라마 3를 사용할 수 있다는 것을 알았습니다.
groq 실행화면Groq란 무엇입니까?
구글 엔지니어 출신인 조나단 로스가 창업한 스타트업으로, 인터랙티브 생성형 AI 서비스 '그로크(Groq)'를 제공한다. 이 글을 쓰는 시점에는 Gemma, Mistral, Llama3와 같은 오픈소스 LLM 모델을 무료로 사용할 수 있습니다.
Groq의 가장 큰 특징은 출력 속도입니다. LPU라는 독점 처리 엔진을 사용한다고 합니다.
얼마나 빠른지 직접 테스트를 해 봤는데, 챗GPT 보다 엄청 빠르네요.
그런데, 이미지 생성은 안되는 거 같습니다.
"귀여운 펜더곰 이미지 생성해줘" 했더니,
/_/\
( o.o )
> ^ <
이렇게 결과가 나왔습니다. ㅎㅎ
간단하게나마 "Llama3"의 특징과 사용 방법(Groq) 을 소개했습니다.
오픈 소스 고성능 모델의 출현으로 저비용과 실용적인 수준에서 AI를 도입할 수 있는 길이 열렸습니다.
그리고 더 나아가 오픈소스를 커스터마이징해서 회사에 맞는 언어모델을 구축하시길 바랍니다.
