한국 최초, 메타 '라마3.1 405b' 오픈리뷰

메타의 최신 LLM인 '라마 3.1 405b' 모델 분석

'메타'의 최신 LLM인 '라마 3.1 405b' 모델 분석에 대한 내용이다.

'메타'가 405b(4,050억개의 파라미터를 의미) 모델을 발표한다고 했을 때, AI 개발자라면 누구나 오픈 날을 손꼽아 기다렸을 것이다.

필자 역시 오매불망 '라마 3.1 405b' 모델을 직접 테스트해 볼 요량으로 허깅페이스 등 새로운 모델이 가장 먼저 등록되는 사이트를 수시로 열어보면서 기다렸다.

그러나, 허깅페이스에 등록된 '라마 3.1 405b' 모델은 정상적으로 동작되지 않는다고 판단하여 다른 경로를 통해 '라마 3.1 405b'를 입수해 약간의 인스트럭션 튜닝을 통해 필자가 운영하는 디스코드 서버에 누구나 무료로 사용할 수 있게 공개하였다.

우선 '라마 3.1 405b' 모델의 공개된 능력치를 확인해 보겠다.

기본적인 base 모델에 대한 성능/ 기능 비교표이다.

이 base 모델에 대한 개선된 instruct 모델에 대한 비교표를 보면 훨씬 능력이 상향된 것을 확인할 수 있다.

메타에서 발표한 자료를 보면, 대체적으로 ChatGPT-4에 비해 상당 부분 우위에 있다고 보이지만, 그것은 최종 이용자가 스스로 판단할 몫이라 본다.

필자가 무료로 공개 서비스로 운영하는 디스코드 서버에서 '라마 3.1 405b' 모델을 적용하여 디스코드 챗봇 형태로 구성하였다.

이어 첫 번째 질문을 던져 보았다.

"역대 조선 왕조 왕들을 출력"하라는 문제로 한국사에 대한 기본적인 지식이 학습되었는지를 확인하기 위해서였다.

  

일단 기본적인 답변은 합격이다. 

이 답은 기존 라마 3 70b도 간단하게 답할 수 있는 상식이었다.

다음은 통상적인 LLM에 대한 질문 데이터셋을 통해 추출한 질문을 던져 보았다.

동일한 질문을 ChatGPT-4o와 클로드 3.5 Sonnet에도 던져 보았고, 약간 다른 답변을 얻었다.

필자가 운영하는 디스코드 서버는 상용 ChatGPT-4o, 클로드 3.5 Sonnet 및 오픈 LLM인 메타 라마 시리즈 등 다양한 LLM들이 무료로 서비스되고 있으며 누구나 체험할 수 있고 각 LLM들의 차이점을 비교할 수 있게 구성되어 있다. 

현재까지 짧은 테스트 소회로, 

일단 405b라는 큰 파라미터의 영향인지 반응 속도(답변 속도)가 상대적으로 느리다는 느낌을 받았다.

기존 메타 라마 3 70b에 비해서 한글 능력은 향상되었다고 느껴졌다.

다만, ChatGPT-4 등 경쟁 상용 LLM들에 비해 압도적인 우위를 갖고 있는지는 의문이다.

물론 앞으로 좀 더 많은 시간을 들여 정교한 테스트와 파인튜닝을 진행해 볼 생각이다.

당신도 느껴보고 싶은가?

그렇다면, https://discord.gg/openfreeai 사이트에서 무료로 체험해 보시길 바란다.