Weekly news on LLM - 8월 첫째주
제목: 마크 저커버그 "차기 LLM 라마4 기존 대비 10배 이상 투자"
요약: 메타가 차기 오픈소스 대규모 언어모델(LLM) 개발을 위해 10배 이상의 컴퓨팅 파워를 투자할 전망이다. 이번 실적 발표에서 수잔 리 최고재무책임자(CFO)는 메타가 올해 생성 AI에서 수익을 창출하지 못할 것임을 인정했다. 또한 다양한 데이터 센터 프로젝트와 미래 AI 모델을 훈련할 수 있는 역량 구축을 고려하고 있어 2025년까지 자본 지출이 늘어날 수 있다고 밝혔다. 마크 저커버그 CEO는 대규모 AI경쟁에서 뒤쳐지지 않기 위해 투자를 확대하는 과정이라고 밝혔고, "AI가 앞으로 어떤 추세를 보일지 예측하기 어려운 것은 사실"이라며 "하지만 투자를 멈춘 후 다시 새로운 추론 프로젝트를 시작하기엔 긴 리드타임이 필요하기 때문에 너무 늦기 전에 필요한 인프라를 미리 구축하는 위험을 감수하는 것이 낫다"고 설명했다. 페이스북의 콘텐츠 순위 및 추천 도구와 인스타그램의 피드 등에 AI를 활용하고 있으며 이를 통해 성과를 개선하고 있다며 AI의 활용성을 소개했다. 마크 저커버그는 "예전에는 광고주가 특정 연령대, 지역 또는 관심사와 같이 도달하고 싶은 특정 대상 고객을 가지고 우리에게 왔다"며 "AI가 적용된 우리 광고 시스템은 이제 광고주 자신보다 누가 관심을 가질지 더 잘 예측할 수 있는 지점까지 도달했다"고 강조했다.
https://zdnet.co.kr/view/?no=20240802095400
제목: 오픈AI, 'GPT-4o' 출력 16배 늘린 '롱 아웃풋' 모델 출시
요약: LLM의 정확도를 높이기 위해 입력 토큰을 12만8000개로 늘리는 것이 유행인 가운데, 오픈AI가 거꾸로 출력 토큰을 대폭 확대한 새 모델을 테스트용으로 내놓았다. 오픈AI는 쿼리 당 최대 6만4000개의 출력 토큰을 제공하는 'GPT-4o 롱 아웃풋(Long Output)' 모델을 출시했다고 발표했다. 이는 기존 GPT-4o의 출력 규모인 4000토큰의 16배에 해당하는 크기다. 이를 통해 챗GPT는 약 200페이지에 달하는 중편 소설 분량의 답변을 한번에 내놓을 수 있게 됐다. 입력 토큰의 늘어나면 질문 안에서 답을 찾는 기능으로 인해 모델의 성능이 좋아진다. 그러나 출력 토큰이 늘어나는 것은 모델 비용을 높일 뿐 정확도와는 관계가 없다. 물론 코드 편집이나 글쓰기 수정 등에서 세부적이고 대규모 출력이 필요한 경우 도움이 될 수 있는데, 수요가 얼마나 될지는 미지수다.
https://www.aitimes.com/news/articleView.html?idxno=162079
제목: 블룸버그, 2024년 주목할 AI 스타트업 10곳 선정..."음악 생성 AI 수노 포함"
요약: 오픈AI,와 엔트로픽, 수노, 퍼플렉시티, 미스트랄 AI, xAI, 스케일 AI, 코히어, 코어위브, 일레븐랩스 등을 2024년 가장 주목할 10대 스타트업으로 꼽았다. 리스트를 살펴보면, 쟁쟁한 스타트업을 제치고 음악 생성 AI ‘수노’가 3번째로 꼽힌 것이 눈에 띈다. 이 회사가 제품을 내놓은 것은 불과 반년에 불과하기 때문이다. 그만큼 음악 생성 AI 분야의 잠재력을 높게 평가한 셈이다. 이어 이들을 따라잡을 만한 후보군, 즉 '잠재력있는 스타트업'으로는 코그니션 AI, 헬싱, 임뷰, 세이프 슈퍼인텔리전스, 01.AI, 코베리언트을 꼽았다. 이 가운데 AI 로봇 분야 대표로 코베리언트를 선정한 것도 주목할 만 하다. 이; 분야는 올해 가장 뜨거운 관심을 받고 있는데, 특히 하드웨어 업체인 피규어AI나 테슬라 등을 제치고, AI 소프트웨어 전문인 회사를 선정했다. 또 얼마전 오픈AI 를 떠난 일리야 수츠케버의 AI 안전 회사 슈퍼인텔리전스는 설립 소식만으로 유망주에 꼽혔다. 반면 1년 전만 해도 가장 빠른 속도로 유니콘에 오르며 주목받았던 스태빌리티 AI는 아예 이름을 올리지 못했다. 런웨이 등 동영상 생성 AI 분야 기업도 리스트에 없다. 한편, 전체 16개 기업 중 미국 회사가 아닌 곳은 프랑스 미스트랄 AI와 독일 헬싱, 중국 01.AI 3곳에 불과했다.
https://www.aitimes.com/news/articleView.html?idxno=161955
제목: "하늘에서 모델이 비처럼 쏟아져"...올들어 프론티어급 20여개 출시
요약: 메타의 '라마 3.1'에 이어 미스트랄 AI의 '라지 2'가 이번 주 잇달아 출시됐습니다. 지난주 오픈AI의 'GPT-4o 미니'까지 합치면 일주일 새 주요 모델 3개가 등장한 셈입니다. 이를 두고 미국 매체는 "하늘에서 비처럼 모델이 쏟아진다"라는 표현도 사용했습니다. 상반기 가장 눈길을 모았던 모델은 엔트로피의 '클로드 3'일 것입니다. 지난 3월 출시 직후 오픈AI의 'GPT-4' 성능을 넘어 세계 최고 모델로 강한 인상을 남겼습니다. 6월에는 '클로드 3.5 소네트'로 다시 한발 앞서 나갔습니다. 한편, 오픈AI는 지난해 11월 'GPT-4 터보'를 내놓은 뒤 올해 'GPT-5' 출시에 앞서 파운데이션급 모델은 딱 하나, 'GPT-4o'만 내놓았습니다. 2월에 출시한 동영상 생성 모델 '소라'가 LLM 못지않은 파괴력을 선보였습니다. 오픈 소스 진영에서는 역시 최근 공개한 메타의 '라마 3.1'이 대표적입니다. 특히 오픈 소스도 폐쇄형과 어깨를 견줄 정도로 성능이 좋아졌다는 것에 초점이 맞춰졌습니다. 3개월 전에는 '라마 3' 중형 및 소형 모델을 먼저 출시했습니다. 일론 머스크의 xAI도 주목할 만합니다. 지난 3월 '그록-1'을 오픈 소스로 공개한 것을 시작으로, '그록-1.5'와 멀티모달모델 '그록-1.5v'까지 발표했습니다. 특히 조만간 '그록-2'에 이어 내년 초 세계 최고 수준이라는 '그록-3'를 출시할 것으로 알려졌습니다. 이를 훈련하기 위해 천문학적 비용을 들여 데이터 센터까지 건설했습니다.
https://www.aitimes.com/news/articleView.html?idxno=161969
제목: KISTI, 과학기술 특화 LLM `고니` 새 버전 공개
요약: KISTI는 과학기술에 특화된 LLM, ‘고니(KONI)’의 새 버전이 나왔다. 지난해 12월 첫 모델에 비해 2배 이상 많은 데이터를 학습시켜 추론과 글쓰기, 이해 등 작업 성능이 크게 향상됐다. 향후 공학박사 수준으로 고도화해 연구자의 과학적 발견과 새로운 지식 창출을 돕는 '한국형 AI 모델'로 자리매김시킨다는 계획이다. 이번에 공개한 LLM은 라마3-8B 모델을 활용했고, '고니-라마3-8B'와 '고니-라마3-8B-인스트럭트' 등 2종이다. 두 모델은 기존 모델보다 2배 이상 많은 논문, 특허 보고서, 뉴스, 위키피디아 등 과학기술정보 관련 데이터를 활용해 학습함으로써, 추론과 글쓰기, 이해 등 다양한 작업에서 성능이 대폭 향상됐다. 특히 한국어 LLM에 대한 종합적 사고력을 측정하는 'LogicKor' 벤치마크 리더보드에서 동일 크기 LLM 중 1위를 차지했다. 특히 8B 모델 크기인 고니가 70B 이하 LLM 중 처음으로 점수 8점을 넘어선 8.21점을 기록, 한국어 LLM에서 가장 강력한 성능을 입증했다. 앞으로 성능을 향상시킨 다양한 모델 크기의 고니를 주기적으로 공개하고, 국방, 전력, 정책 등에 특화된 LLM도 개발·보급할 방침이다. 고니는 AI 오픈소스 플랫폼 '허깅스 페이스'와 KISTI의 AI데이터 공유·활용 서비스 'AIDA'에서 내려받아 활용할 수 있다.
https://www.dt.co.kr/contents.html?article_no=2024073102109931731009&ref=naver
