Weekly news about LLM - 2월 넷째주
제목: 심심할 틈이 없다! ChatGPT 탑재한 푸조 벌써부터 히트 조짐
요약: 푸조가 24년 2월 초 영국에서 시범 서비스를 시작한 ChatGPT에 최소 5000명이 넘는 운전자가 등록하면서, 출시 규모를 두 배로 늘리기로 했다. 서비스는 처음 6개월간 무료로 이용하며, 이후에는 사용료를 내야 하는데 금액은 아직 공개되지 않았다. 푸조가 공개한 홍보영상에는 운전자가 피카소 그림을 볼 수 있는 곳, 다른 예술 작품이 있는지 등을 시스템에 묻는 내용이 담겨 있다. 이어서 시스템에 미술관으로 가는 경로를 지정하도록 지시하는 모습도 나온다. 또한, 시스템은 레스토랑에 대한 고객 리뷰를 찾거나, 특정 랜드마크에 대해 질문한 다음 운전자를 그곳으로 직접 안내하는 것도 가능하다. 푸조는 전기차를 충전하는 동안 탑승자들이 즐겁게 보낼 수 있도록 ChatGPT를 사용해 거의 모든 주제에 대한 퀴즈를 생성할 수 있다고 밝혔다.
https://www.thedrive.co.kr/news/newsview.php?ncode=1065601881215514
제목: 구글, 개방형 LLM '젬마' 공개…"메타 라마-2보다 뛰어나"
요약: 구글이 21일 누구나 상업적 목적으로 사용가능한 LLM모델 '젬마'(Gemma)를 공개했다. 젬마는 구글의 인공지능 제미나이(Gemini)를 개발하는 데 쓰인 것과 동일한 기술로 만들어진 경량 모델이고, 'Gemma 2B'와 'Gemma 7B' 두 모델로 출시됐다. 구글이 공개한 벤치마크 데이터에 따르면 7B모델은 평균 64.3점을 기록해 메타의 LLM모델인 Llama-2의 45.3점을 뛰어넘었다.
https://www.news1.kr/articles/5328055
제목: 엔비디아, 구글과 협력해 AI 오픈 모델 ‘젬마’ 최적화
요약: AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(NVIDIA)가 구글(Google)과 협력해 모든 엔비디아 AI 플랫폼에서 AI 모델 ’젬마(Gemma)’를 위한 최적화를 실시했다고 23일 밝혔다. 엔비디아는 구글과 긴밀히 협력해 엔비디아 TensorRT-LLM으로 젬마의 성능을 가속화했다. TensorRT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 LLM 추론을 최적화하는 오픈 소스 라이브러리이다. 즉, 개발자는 AI PC나 클라우드의 엔비디아 GPU에서 젬마를 실행할 수 있고, 젬마를 fine-tuning한 모델을 각자의 서비스를 위해 활용할 수도 있다.
https://www.edaily.co.kr/news/read?newsId=01577686638793472&mediaCodeNo=257&OutLnkChk=Y
제목: '스테이블 디퓨전 3' 공개..."소라와 비슷한 트랜스포머 아키텍처 도입"
요약: Stability AI가 차세대 이미지 생성 AI인 Stable Diffusion 3 모델을 오픈 소스로 공개했다. Stable Diffusion 3은 다양한 장치에서 실행가능하도록 0.8B ~ 8B의 다양한 크기의 모델을 제공한다. Stable Diffusion 3는 OpenAI의 ‘소라’와 유사한 새로운 유형의 아키텍쳐 ‘diffusion transformer’ 기반으로 구축되었고, 이것은 전통적인 이미지 생성 AI 모델인 diffusion model에 사용되는 U-Net 백본을, 텍스트 생성 모델의 기반이 되는 트랜스포머로 대체한 새로운 아키텍처다. 현재 프리뷰 단계이며, 대기자 명단을 받고 있다.
https://www.aitimes.com/news/articleView.html?idxno=157455
제목: 노믹 AI, 오픈AI 뛰어넘는 오픈 소스 최장 컨텍스트 임베딩 모델 출시
요약: 노믹 AI가 오픈 소스 텍스트 임베딩 모델 ‘Nomic Embed’를 출시했다. Nomic Embed는 현존 최고인 OpenAI의 ‘text-embedding-ada-002’보다 성능이 뛰어나기 때문에, 이를 활용하면 기존의 LLM의 성능을 끌어올릴수 있다. Nomic Embed는 현재 가장 많이 사용되는 ‘text-embdedding-ada-002’와 동일하게 8192 토큰의 context size 임베딩이며, BookCorpus와 2023년 위키피디아 덤프 데이터등을 활용해 사전 훈련했고, 4억 7000만쌍의 방대한 컬렉션을 활용해서 대조학습을 진행한 다음, pair 데이터로 구성된 더 작은 큐레이터 데이터셋을 활용해서 fine-tuning했다. Nomic Embed의 첫 버전인 ‘nomicembed-text-v1’은 대규모 텍스트 임베딩 벤치마크(MTEB), LoCo 벤치마크, 지나 롱 컨텍스트 벤치마크 등에서 최고 성능을 발휘했다. 마크테크포스트는 “Nomic Embde는 긴 컨텍스트의 텍스트 임베딩 영역에서 오픈 소스의 진입 장벽을 허무는 기술적 성과를 이뤘다"라고 평가했다.
https://www.aitimes.com/news/articleView.html?idxno=157299
제목: 어도비, `애크로뱃`과 `리더`에 PDF 읽는 생성형AI 도입
요약: 어도비는 어도비 Reader와 어도비 Acrobat에 새로운 생성형AI 구동 대화형 엔진인 AI어시스턴트 베타를 공개했다. 어도비 AI어시스턴트는 PDF를 비롯해 워드·파워포인트 등 각종 문서에 대한 요약과 인사이트를 즉시 생성하고, 사용자 질문에 답하며, 이메일·보고서·발표자료 서식에 맞춰 정보를 제공한다. 아비간 모디 어도비 도큐먼트클라우드 수석부사장은 "생성형AI는 PDF 내 정보를 실용적인 지식과 전문가 수준의 콘텐츠로 전환하며 보다 지능적인 문서 경험을 제공한다”고 말했다.
https://www.dt.co.kr/contents.html?article_no=2024022102109931081006&ref=naver
제목: 삼성 '갤럭시 AI' 확장에…애플, 생성형 AI 도구 'ASK' 준비 중
요약: 애플은 ChatGPT와 유사한 자체적으로 만든 AppleGPT 기반의 'ASK'라는 생성형 AI 도구를 훈련 및 시험 중이다. 애플케어 직원이 기술과 관련한 질문을 하면, ‘ASK’가 적절한 답을 하는 식이다. 내부 데이터베이스를 사용해 ASK를 훈련하고 있으며, 애플은 테스트에 참여한 직원들의 피드백을 수집한 후 해당 도구를 확대할 계획이다. ASK의 최종 목표는 복잡한 고객 문제도 자동으로 처리할 수 있는 능력을 갖추는 것이다. 애플은 iOS18에 생성형 AI를 탑재하여 시리나 아이 메시지에서 이용할 수 있도록 계획하고 있다. 또한, 애플뮤직에 생성형 AI를 더해 애플뮤직 재생 목록 추천 등의 기능이 탑재되고, 프로그래밍 소프트웨어 엑스코드에 AI 기능이 도입될 것으로 보인다.
https://www.ddaily.co.kr/page/view/2024022416503928788
제목: "한국어 LLM 보다 정확하게 평가한다"…네이버, 한국판 MMLU 공개
요약: 네이버가 한국어 LLM의 성능을 보다 정확하게 평가할 수 있는 맞춤형 AI 테스트 지표를 공개했다. 네이버클라우드 하이퍼클로바X팀은 지난 18일 논문 사전공개 사이트 ‘아카이브’와 AI 오픈소스 커뮤니티 '허깅페이스'를 통해 'K-MMLU(Measuring Massive Multitask Language Understanding in Korean)'를 공개했다. MMLU(대규모다중작업언어이해)는 AI 테스트의 일종으로, 수학·물리학·역사·법률·의학·윤리 등 57개의 주제를 복합적으로 활용해 AI의 지식과 문제 해결 능력을 평가하는 지표이다. K-MMLU 개발팀은 "기존 영어 벤치마크를 번역한 한국어 벤치마크와 달리, K-MMLU는 한국어 시험에서 데이터를 직접 수집해 한국어의 언어적·문화적 측면을 반영한다"고 설명했다.
https://www.ajunews.com/view/20240221171157638
