Weekly news on LLM - 8월 넷째주
제목: 메타, 인간 평가자 필요 없는 LLM 평가 도구 출시
요약: 인간 평가자 대신 LLM를 활용, LLM의 품질과 정확성을 평가하는 효율적인 평가 도구가 등장했다. 인간이 라벨을 지정한 데이터가 필요 없는 합성 데이터를 생성, 자가학습 방식으로 LLM 평가자를 훈련해 LLM 평가의 효율성과 확장성을 크게 개선했다는 설명이다. 메타는 LLM을 활용해 LLM의 품질과 정확성을 평가하는 ‘자가학습 평가자(Self-Taught Evaluator)’에 관한 논문을 아카이브에 게재했다. 일반적으로 LLM을 평가하는 데에는 인간 평가자를 선호하지만, 인간 평가는 느리고 비용이 많이 들며 종종 전문 지식이 필요하다는 점에서 점차 LLM이 인간 평가자를 대체하는 추세다. 그러나 문제는 LLM 평가자를 훈련하는 것도 인간이 라벨을 지정한 방대한 데이터에 의존한다는 것이다. 이는 비용이 많이 들고 시간이 많이 걸린다. 따라서 메타의 자가학습 평가자는 인간 라벨링 데이터의 필요성을 없애는 훈련 방식을 사용해 이 문제를 해결한다. 이는 올바른 결과에 도달하는 추론 과정을 생성, 어떤 응답이 더 나은지 판단하는 '평가형 LLM(LLM-as-a-Judge)' 개념으로 구축됐다.
https://www.aitimes.com/news/articleView.html?idxno=162635
제목: 오픈소스 LLM 띄우려 했는데...메타, 빅클라우드 때문에 주춤?
요약: 오픈소스 LLM을 앞세워 오픈AI, 앤트로픽, 구글 등이 주도하는 폐쇄형 LLM 판세를 재편하려는 메타의 전략이 생각 만큼 빠르게 현실화되지 못하고 있다는 시그널이 감지된다. 허깅페이스 데이터를 보면 메타 라마3.1은 7월 공개된 이후 모두 합쳐 360만회 정도 다운로드됐다. 이전 버전인 라마3가 4월 공개 후 한달 간 580만회 이상 다운로드된 것엔 한참 못미치는 수치다. 메타와 함께 오픈소스 LLM 진영에 속하는 미스트랄AI의 경우는 좀 다르다. 최신 SLM인 미스트랄-7B의 경우 지난달 처음 버전보다 많이 다운로드됐다. AWS는 베드록 플랫폼을 통해 기업들이 다양한 LLM들을 필요하게 맞게 쓸 수 있도록 제공하고 있는데, 여기에선 라마가 아니라 아마존이 40억달러를 투자하기로 한 앤트로픽 클로드가 가장 잘나가는 LLM으로 통한다. 라마는 마이크로소프트 클라우드 플랫폼인 애저에도 올라가 있는데, 여기서도 상황은 녹록치 않다. 애저 플랫폼에서 넘버원 LLM은 예전이나 지금이나 여전히 마이크로소프트가 100억달러 이상을 투자한 오픈AI 모델들이다. 마이크로소프트 영업 담당자들은 통상 자체 엔지니어들과 데이터 과학자들을 보유해 데이터 전문성을 가진 고객들에게만 라마를 제안하고 있다고 디인포메이션이 마이크로소프트 한 직원을 인용해 전했다.
https://www.digitaltoday.co.kr/news/articleView.html?idxno=530630
제목: 구글, 프롬프트 샘플 보여주는 '프롬프트 갤러리' 출시
요약: 구글이 '제미나이' 모델에서 프롬프트 입력과 답변 출력을 시험해 볼수 있도록 다양한 장르의 프롬프트 샘플로 구성된 'Prompt Gallery'를 출시했다. 구글은 생성 AI 앱 개발자용 LLM플랫폼인 AI Studio에서 다양한 프롬프트 샘플을 시험할 수 있는 프롬프트 갤러리를 출시했다고 보도했다. AI 모델 개발을 위한 플랫폼 'Vertex AI'에서 이미 사용할 수 있는 기능이지만, AI 스튜디오에서 누구나 쉽게 사용할 수 있게 되면서 제미나이 API를 사용하는 개발자들에게 큰 도움이 될 것으로 보인다.
https://www.aitimes.com/news/articleView.html?idxno=162782
제목: 수노, 상반기 가장 많이 사용한 AI 웹 5위 올라...라이너는 2회 연속 톱 10
요약: 음악 생성 인공지능(AI) 수노가 가장 많이 사용되는 인공지능(AI) 웹 도구 5위에 올랐다. 1위 오픈AI의 ‘챗GPT’와 2위 '캐릭터닷AI', 3위 '퍼플렉시티', 4위 '클로드' 등 쟁쟁한 AI 도구들의 뒤를 이었다. 또 국내 간판 스타트업 라이너는 연속으로 톱 10을 차지했다. '음악판 소라'로 폭발적인 반응을 얻은 수노는 지난번 36위에서 5위로 뛰어 오르며 가장 높은 상승폭을 기록했다. 수노는 7월초 모바일 앱도 출시했다. 수노와 함께 음악 생성 AI로 돌풍을 일으킨 '유디오'는 33위를 차지했다. 이처럼 순위에 새로 추가된 12개의 도구 중 58%는 콘텐츠 생성이나 이미지, 비디오, 음악, 음성 등을 편집하는 데 중점을 둔 크리에이티브 도구인 것으로 나타났다.
https://www.aitimes.com/news/articleView.html?idxno=162763
제목: 뤼튼 "10~20대 증가로 가입자 400만 육박...광고 도입 검토 중"
요약: 뤼튼 서비스 가입자가 상반기 300만을 돌파한 데 이어, 현재 400만명에 근접했다. 10대와 20대 등 젊은 사용자가 급증했다는 분석으로, 이를 기반으로 광고를 도입하겠다는 뜻을 밝혔다. 30~40대 층이 대부분이던 이전과 다르게, 최근 10~20대 사용자까지 급증한 결과라는 설명이다. 이런 트렌드에 맞춰 빠르게 키워드 및 뉴스를 접할 수 있는 '7초' 기능을 추가하고 쇼츠 등 영상 콘텐츠의 지원도 확장했다고 전했다. AI 검색 고도화에도 나섰다고 전했다. 사용자가 입력한 검색어나 프롬프트에 맞춰 출처와 데이터를 탐색하는 과정을 시각적 및 단계적으로 보여줄 수 있게 UI를 구축했다. 도메인 및 사용자 특화 RAG 등을 기반으로 'Answer Engine'을 구축한 결과다. AI 검색 개편 이후 블라인드 테스트를 진행, 최신 버전이 62.12%의 높은 승률을 보였다고 덧붙였다. 이처럼 '사용하기 쉽고 재미 있는 AI'를 모토로, 사용자 개인의 취향을 반영하는 'social bonding'에 강점을 두겠다는 전략이다. 광고를 도입하겠다는 뜻도 밝혔다. 사용자의 검색어에 따라 최대한 거부감 없이 콘텐츠를 추천하는 방식을 검토 중이다.
https://www.aitimes.com/news/articleView.html?idxno=162785
제목: MS, SW 개발자 연봉 최저 2억...AI 개발자는 평균 5억
요약: MS의 소프트웨어 엔지니어 연봉이 최소 14만8436달러(약 2억원)부터 최고 123만달러(약 16억5000만원)로 밝혀졌다. 특히 AI 부서의 평균 연봉은 37만7611달러(약 5억원)에 달하는 것으로 나타났다. 부서별 평균 연봉에서는 MS AI 부서가 37만7611달러로 가장 많았으며, 이어 클라우드/AI 25만5126달러(약 3억4200만원), 애저 사업부 25만1464달러(약 3억3700만원), 경험/장치 사업부 24만2723달러(약 3억2500만원) 순이었다. MS AI 조직은 지난 3월 인플렉션 AI에서 영입한 무스타파 술레이먼 전 딥마인드 공동 창업자가 이끄는 부서다. 여기에서는 코파일럿 AI, 챗봇과 빙 검색 엔진 등 소비자 AI 제품을 개발하고 있다.
https://www.aitimes.com/news/articleView.html?idxno=162778
