Weekly news on LLM - 5월 첫째주
제목: 1위 오라클과 다른 길?...LLM 개발 뛰어드는 DB업계
요약: 그동안 DB는 복잡한 쿼리 언어를 사용해 실행됐는데, LLM을 적용하면 사용자가 자연어로 질문을 해도 이를 이해하고 적절한 결과를 제공할 수 있다. 비정형 데이터를 수치화해 빠르게 탐색하는 벡터DB를 함께 적용하면 문맥 의미를 파악해 결과를 주는 시멘틱 검색도 가능하다. 글로벌 DB업체들은 LLM 모델을 적용하는 데 있어 서로 다른 방법을 취하고 있다. 전세계 DB 1위 사업자인 오라클은 LLM을 적극 활용하되, LLM을 직접 개발하진 않고, 오픈소스나 독립적 LLM 기업과 협업한다는 전략이다. 실제 오라클은 라마나 코히어 등 기존 성공적인 LLM을 이용할 수 있도록 제공하는데, 그만큼 회사는 LLM 개발에 소요되는 비용·시간을 절약할 수 있다. 회사 자원을 핵심 사업 분야에 더 집중할 수 있다는 점에서 장점이 된다. 반면 데이터브릭스, 스노우플레이크 같은 DB업체들은 자체 LLM을 개발했다. 데이터브릭스는 지난 3월 오픈소스 LLM ‘DBRX’를 출시했고, 스노우플레이크 역시 지난달 오픈소스 LLM ‘아크틱’을 선보였다. 오픈AI GPT와 구글 제미나이 같은 LLM은 광범위한 분야 질문에 대응할 수 있도록 설계된 반면, DBRX나 아크틱은 주로 데이터분석과 처리·관리에 중점을 두고 기업용 대상으로 개발됐다. 테크크런치는 “모든 목적에 맞게 미세조정(파인튜닝) 할 수 있는 오픈소스 LLM 모델이 대세인 환경에서 아크틱 LLM은 눈에 띄지 않는다”며 “해당 아키텍처는 다른 옵션 대비 효율성을 높일 순 있지만 이미 GPT4 등 유명한 비즈니스 친화적 LLM에서 기업들이 이탈할 정도로 극적일 것이라곤 볼 수 없다”고 전했다.
https://www.ddaily.co.kr/page/view/2024050206332589878
제목: "GPT-4.5의 깜짝 등장인가"...'GPT-4' 능가한다는 정체불명 챗봇 화제
요약: 출처를 알 수 없는 AI 챗봇, gpt2-chatbot이라는 모델이 인간 투표로 순위를 매기는 LLM 리더보드 ‘챗봇 아레나’에 등장, 화제가 되고 있다. 일부에서는 'GPT-4'와 맞먹거나 일부 능가하는 성능 때문에 'GPT-4.5'가 아니냐는 추측을 내놓고 있다. gpt2-chatbot의 출현을 밀착 추적해 온 스텐포드 대학교 학생 앤드류 가오는 X를 통해 “누가 만들었는지는 명백히 알 수 없지만, 적어도 그것이 GPT-4 수준이라는 평가에 동의할 것이다”라고 말했다. 많은 전문가들은 gpt2-챗봇이 오픈AI에서 제작한 것으로 생각하고 있다. 실제 모델은 스스로를 "GPT-4 아키텍처를 기반으로 하는 오픈AI에서 훈련된 LLM ChatGPT"라고 답한다. 그러나 이 주장은 AI 시스템이 자신을 잘못된 방식으로 설명하도록 지시될 수 있기 때문에, 사실 여부를 확인할 방법은 없다. 전문가들은 gpt2-chatbot을 조사하고 실험하며 차별화된 능력을 발견하기도 했다. 이 때문에 GPT-4.5가 아니냐는 추측이 나왔다. 어려운 코드를 작성하는 능력이 대표적이다. 체이스 맥코이 코드젠 창립 엔지니어는 "GPT-4나 '클로드 3 오퍼스'보다 새로운 모델을 테스트하는 데 사용하는 모든 코딩 프롬프트에서 더 뛰어난 성능을 발휘했다"라고 말했다. 또 사용자들은 대체로 챗GPT와 같은 이전 챗봇보다 규칙을 위반하고 제한 사항을 무시하려는 의지가 더 강하다고 지적했다. 이런 소문이 퍼져 나가며 많은 전문가와 개발자가 gpt2-챗봇이 올라와 있는 챗봇 아레나에 몰려 들었다.결국 챗봇 아레나를 운영하는 LMSYS는 1일 "예상치 못한 높은 트래픽과 용량 한계로 인해 gpt2-챗봇을 일시적으로 오픈 라인 상태로 전환했다”라고 발표했다.
https://www.aitimes.com/news/articleView.html?idxno=159250
제목: 인텔, 500개 AI 모델 코어 울트라에 최적화
요약: 인텔은 2일 500개 이상의 AI 모델을 코어 울트라 프로세서용으로 최적화했다고 밝혔다. 코어 울트라 프로세서는 CPU와 아크 GPU 이외에 저전력·상시 AI 처리를 돕는 NPU를 포함했다. 이를 탑재한 PC는 지난 해 12월 이후 현재까지 500만 대 이상 출하됐다. 인텔이 최적화한 500개 AI 모델은 오픈비노 모델주, 허깅페이스, ONNX 모델주, 파이토치 등 온라인 라이브러리를 통해 쉽게 도입할 수 있다. 미스트랄, 라마, 스테이블 디퓨전 1.5 등 주요 오픈소스 모델을 포함해 거대언어모델(LLM), 스테이블 디퓨전, 해상도 향상, 사물 인식, 사진 분류 등이 CPU와 GPU, NPU 등 코어 울트라 프로세서 내 자원을 활용해 구동된다. 인텔은 AI 모델 최적화에 CPU와 GPU, NPU를 모두 구동할 수 있는 오픈소스 AI 프레임워크인 OpenVINO를 활용하고 있다. OpenVINO는 CPU와 GPU, NPU 등 모든 연산 자원을 고르게 활용하고 AI PC에서 효율적으로 각종 모델이 구동되도록 이를 압축하며 메모리 대역폭을 최대한 활용할 수 있도록 최적화하는 역할을 수행한다.
https://zdnet.co.kr/view/?no=20240502104713
제목: 애플, 5월 출시 아이패드에 최신 AI 칩 탑재...최초의 'AI 태블릿' 시대 연다
요약: 애플이 5월초 공개할 새 아이패드 제품군에 최신 AI 칩 'M4'를 탑재할 것으로 알려졌다. 이 제품부터 애플은 본격적인 AI 디바이스 시대를 열겠다는 의도다. M4는 지난해 10월 공개된 'M3' 칩의 후속 모델이다. AI에 초점을 두고 있으며 ▲보급형 도난(Donan) ▲일반형 브라바(Brava) ▲고급형 히드라(Hidra) 3가지 종류가 출시될 것으로 전해졌다. 정식 공개는 6월에 열리는 WWDC에서 공개될 것으로 예상된다. 당초 M4는 연말에 출시할 맥북과 아이맥 등에 탑재될 것으로 예상됐다. 그러나 이미 시장에서 큰 반응을 못 얻은 M3 칩을 다시 아이패드에 장착한다는 것은 도움이 되지 않는다는 판단을 내린 것으로 알려졌다. 특히 애플은 이 칩이 본격적인 온디바이스 AI 시대를 열어줄 상징적인 제품으로 밀고 있다. 이를 탑재, 아이패드를 '최초의 AI 태블릿'으로 브랜딩한다는 계획이다.
https://www.aitimes.com/news/articleView.html?idxno=159209
제목: 애플, 오픈AI와 협상 재개...'시리'에 '챗GPT' 통합 추진할 듯
요약: 애플이 오픈AI와 생성 AI 도입을 위한 협상을 재개한 것으로 알려졌다. 자세한 내용은 밝혀지지 않았지만, 아이폰 음성 비서 '시리'에 'ChatGPT'를 통합하는 방안이 유력한 것으로 보인다. 애플은 올 초 이 문제로 오픈AI와 협상을 시작했지만, 진행 상황은 미미했고, 대신 애플은 구글과 앤트로픽과 이 문제를 상의한 것으로 알려졌다. 애플이 6월 WWDC에서 발표할 iOS 18 대규모 업데이트는 AI 기능 통합이 주를 이룰 것으로 예측되고 있다. 지금까지 알려진 바에 따르면 애플은 온디바이스 AI에 집중하고, 클라우드 AI는 다른 회사의 LLM에 의존할 가능성이 크다. 이 경우 애플은 LLM의 환각이나 편견 문제의 책임에서 벗어날 수 있다. iOS를 통해 시리와 통합될 것이 유력하다는 분석이지만, 새로운 AI 음성 비서를 내놓을 가능성도 있다.
https://www.aitimes.com/news/articleView.html?idxno=159167
제목: 디플정위, 공공 초거대AI 도입 지침 마련
요약: 대통령직속 디지털플랫폼정부위원회는 NIA와 함께 중앙부처, 지방자치단체, 공공기관이 초거대 AI를 효과적으로 도입·활용할 수 있게 '공공부문 초거대 AI 도입‧활용 지침'을 마련했다고 밝혔다. 가이드라인은 ▲개요 ▲초거대 AI 기술 및 사례 ▲초거대 AI 도입절차 등 3장으로 구성했다. 1장 ‘개요’에서는 초거대 AI 기술과 국내 시장동향 및 가이드라인 필요성을 안내했고, 제2장 ‘초거대 AI 기술 및 사례’에서는 현재 공공부문에서 가장 애로사항이 초거대 AI 사업 계획수립을 지원하기 위해 6개 서비스 유형별로 다양한 활용사례들을 제시했다. 공공부문 담당자들이 LLM 등 신기술을 어떤 업무에 어떤 식으로 효과적으로 활용할 수 있을 지를 상세히 소개했다. 제3장에서는 LLM 유형 결정 등을 포함한 AI 도입‧활용의 전 과정에 걸쳐 추진 절차와 각 단계별로 공공부문이 고려해야 할 사항들을 체크리스트 형태로 제시했다.도입업무(데이터) 보안등급 검토→ 클라우드 구성방안 검토→ 데이터 학습방식에 따른 LLM 유형 결정→ 서비스 도입방식 결정→ 서비스 레벨 목표 검토→ 유지보수 및 운영방식 검토 등의 순서를 거친다.지침은 디플정위(www.dpg.go.kr)와 진흥원 누리집(www.nia.or.kr)에서 상시 확인 할 수 있다.
https://zdnet.co.kr/view/?no=20240427154109
제목: “크고 비싼 LLM 대신 가성비 높은 sLLM”... 빅테크 개발 전쟁에 韓 기업들도 동참
요약: 구글, MS, 메타 등 빅테크 기업들이 올 들어 sLLM을 선보이면서 국내 기업들도 잇따라 이 시장에 뛰어들고 있다. 훈련과 구동에 엄청난 비용이 드는 LLM 대신 가성비가 좋은 sLLM이 주목받고 있는 것이다. 구글은 최근 sLLM인 ‘제미나이 나노’(1.8B)를, MS는 ‘Phi-3 미니’(3.8B)를, 메타는 ‘라마3′(8B)를 공개했다. OpenAI의 GPT4(1000B), 구글의 ‘제미나이 울트라’(1750B)의 LLM 모델에 비하면, 1/500 수준이다. sLLM은 경량화를 통해 응답 속도를 향상시켰고 입력 데이터 최적화 등으로 LLM 못지않은 효율을 낼 수 있다는 점이 장점이다. sLLM은 또 ‘온디바이스 AI’로 활용되기에 적합하다. 온디바이스 AI는 클라우드가 아니라 스마트폰, 노트북 등 기기 자체에 AI 서비스가 탑재된 것을 말하는데, 제한된 성능과 공간에서 AI를 구동하려면 작은 모델이 더 적합하다. 아울러 B2B시장에서는 ‘최소 비용, 최고 성능’을 내는 게 중요하기 때문에 sLLM이 보다 경쟁력이 있다. 국내 기업들의 sLLM 개발 속도도 점점 빨라지고 있는데, 네이버는 최근 기존 모델의 1/5 수준의 ‘HCX-대시’를 선보였다. 업스테이지는 3월 ‘솔라 미니’를 선보였고, 데이터/애플리케이션 보안 사업에 치중했던 파수도 ‘Ellm’을 선보였다. 미국 시장조사업체 밸류에이츠 리포트가 발간한 보고서에 따르면 sLLM 시장 규모는 2022년 51억8000만달러에서 오는 2029년 171억8000만달러로 성장할 전망이다.
