Weekly news on LLM - 7월 넷째주
제목: 메타, 최신 AI '라마 3.1' 공개…"GPT-4·클로드 3.5 능가"
요약: 메타는 '라마 3.1'을 출시한다고 밝혔는데, 전작 대비 8개 언어 지원이 더 추가됐으며 컨텍스트 길이도 12만8000개 토큰으로 늘었다.파라미터 수에 따라 3가지 버전으로 나뉘는데, 405B, 80B, 8B 이다. GPT-3(175B)보다 2배 더 많지만, GPT-4(1000B)보다는 적다. 메타는 라마 3.1이 AI 모델 평가인 MMLU 평가에서 GPT-4o, 클로드 3.5 소네트 등보다 비슷하거나 높은 점수를 기록했다고 강조했다. 메타에 따르면 라마 3.1 405B 버전의 MMLU 점수는 88.6점으로 GPT-4(85.4점), 클로드 3.5 소네트(88.3점)보다 높았고 GPT-4o(88.7점)와는 0.1점 차이에 불과했다.
https://www.newsis.com/view/NISX20240724_0002823168
제목: 하루 만에 "라마 3.1 능가" 모델 등장...미스트랄, 매개변수 123B '라지 2' 출시
요약: 프랑스 AI 스타트업 미스트랄 AI가 플래그십 LLM '라지'의 신규 버전을 공개했다. 라지 2 모델은 123B의 매개변수로, 12만8000 토큰의 컨텍스트 창을 제공한다. 라마 3.1 중 가장 큰 모델(405B)에 비해 매개변수가 3분의 1도 안 되는 크기다. 추론, 코드 생성 및 수학 전반에 걸쳐 성능 개선과 함께 고급 다국어 기능을 제공한다. 한국어를 포함해 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어 등 12개 언어와 80개의 코딩 언어를 지원한다. 또 고급 함수 호출 및 검색 등 새로운 기능을 제공한다. 미스트랄은 라지 2 모델이 합성 텍스트 생성, 코드 생성, 검색 증강 생성(RAG)와 같이 높은 추론 능력이 필요하거나 매우 특수화된 작업에 효과적이라고 설명했다. 다만, 라지 2는 비상업적 연구 용도로만 공개됐다. 상업 및 기업용 애플리케이션에 사용하려는 경우 별도의 라이선스 및 사용 계약이 필요하다. 즉, 오픈 소스 라고 볼 수는 없다.
https://www.aitimes.com/news/articleView.html?idxno=161918
제목: "애플·앤트로픽·엔비디아 등 ‘유튜브 자막’ 데이터 AI 학습에 무단 사용"
요약: 애플과 엔비디아 등 빅테크들이 대량의 유튜브 자료를 무단으로 사용했다는 지적이 나왔다. 이는 인기 있는 오픈 소스 데이터셋을 AI 학습에 사용한 결과로, 사용 기업은 물론 데이터셋 제작자와 유튜브까지도 문제가 지적되고 있다. 프루프 뉴스와 와이어드는 애플, 엔비디아, 앤트로픽, 세일즈포스 등이 사용자의 동의 없이 약 17만3000건이 넘는 유튜브 영상 자막을 AI 모델 훈련에 사용했다고 보도했다. 구글은 허가 없이 유튜브로부터 자료를 가져다 쓰는 것을 금지하고 있다. 지난 4월 오픈AI가 100만 시간 이상 동영상을 유튜브에서 가져다 사용했다는 소식이 들리자, 닐 모한 유튜브 CEO는 이는 이용 약관을 위반한 것이라고 지적했다. 특히 톰스하드웨어는 "이런 유튜브 자막 데이터로 학습한 AI 챗봇이 조만간 '추천과 좋아요 잊지 마세요'라는 말로 채팅을 마무리한다고 해도 놀랄 일이 아닐 것"이라고 비꼬았다.
https://www.aitimes.com/news/articleView.html?idxno=161778
제목: 네이버 1.4조·LG 1조…韓기업들, 천문학적 AI 투자비용에 '골머리'
요약: 네이버는 지난해 8월 공개한 자체 LLM인 ‘하이퍼클로바X’를 학습시키고 고도화하는 데 약 1조4000억 원의 컴퓨팅 인프라 비용을 투입한 것으로 전해졌다. LG AI연구원도 ‘엑사원’ 개발에 약 1조 원의 비용이 든 것으로 추산된다. 반면 KT는 자체 LLM ‘믿음’ 개발에 3000억~4000억 원 정도를 집행했다. 업계 전문가는 “AI 모델을 한 번 학습시키는 데 130억 원 정도의 비용이 소요된다”며 “네이버와 LG는 작년에 매우 공격적으로 투자를 단행한 반면 KT의 ‘믿음’은 회사 거버넌스 이슈로 인해 추가 투자가 적극적이지 못해 새로운 기능 공개가 5월에서 6월, 그리고 7월로 연기됐다”고 설명했다. 전문가들은 전세계 경쟁이 AI 모델에서 AI 컴퓨팅 인프라 경쟁으로 변하고 있다면서 국가 AI 전략을 새롭게 조정해야 한다고 보고 있다.
https://www.edaily.co.kr/News/Read?newsId=03034006638958128&mediaCodeNo=257&OutLnkChk=Y
제목: SK텔레콤, '글로벌 AI 컴퍼니' 밑그림 완성···美 'AI IDC' 기업에 2억달러 투자
요약: SK텔레콤이 통신사를 넘어 '글로벌 AI 컴퍼니'로의 전환에 속도를 내고 있다. 특히 SK텔레콤은 AI 사업을 인프라 영역부터 서비스 단계까지 아우르며 해외에서도 가시적인 성과를 만들어 간다는 구상이다. 특히 SK텔레콤은 최근 AI 시대의 기초인 인프라 역량 확보에 집중하고 있다. 지난해부터 SK텔레콤이 AI 분야에 투자한 금액은 3억달러를 웃돈다. 투자사는 이번에 투자한 SGH를 비롯해 △미국의 생성형 AI 기업 '앤트로픽' △서비스형 GPU 기업 '람다' △생성형 AI 검색엔진 스타트업 '퍼플렉시티' 등이다. SK텔레콤은 SGH와는 데이터센터 사업 확대와 산업용 특화 엣지 솔루션에 통신 인프라와 AI를 결합한 '텔코 엣지 AI 솔루션' 공동 개발에 나선다. 또한 람다와는 AI 연산에 필수적인 GPU의 안정적인 공급, 엔트로픽과는 함께 대규모언어모델(LLM) 개발, 퍼플렉시티와는 글로벌 AI 개인비서 서비스 경쟁력 제고 등을 목표로 활발히 협업하고 있다. 아울러 SK텔레콤은 AI 반도체 설계(펩리스) 자회사 '사피온'과 국내 유망 스타트업 리벨리온과의 합병을 추진하기로 했다. SK텔레콤은 한국과 해외에서 AI 동맹 강화에 나서겠다는 뜻을 밝혔다. SK텔레콤을 중심으로 꾸려진 'K-AI 얼라이언스'는 최근 동맹을 개방형으로 전환한다고 밝혔다. 해외에서는 유력 통신사와 함께 구축한 연합체인 '글로벌 텔코 얼라이언스(GTAA)'를 꾸렸다. GTAA는 SK텔레콤이 주축이 돼 구성했으며, 도이치텔레콤, e&, 싱텔, 소프트뱅크 등 글로벌 통신사 참여한다. 텔코 LLM 공동 개발 및 AI 관련 사업 협력에 나설 예정이다.
https://news.tf.co.kr/read/economy/2116122.htm
