Weekly news on LLM - 7월 셋째주
제목: 오픈AI가 'GPT-4o 미니' 출시한 이유는?
요약: ‘오픈AI’가 새롭게 저가형 AI인 ‘GPT-4o mini’를 출시했다. 향후 AI 개발 경쟁이 ‘효율화 및 간소화’에 방점이 찍힐 신호탄으로 읽힌다. 오픈AI에 따르면 GPT-4o 미니는 경량화 버전임에도 꽤 쓸만한 성능을 지원한다. GPT-4o미니는 2023년 10월까지의 지식을 보유하고 있어 다양한 질문에 응답할 수 있다. 법률, 의학 등 57개 과목의 능력을 측정하는 ‘대규모 다중작업 언어이해(MMLU)’ 점수가 82%로 나왔다. 이는 최신 버전인 GPT-4o(88.7%)와도 큰 차이가 없는 수준이다. 현재 무료로 이용 가능한 ‘GPT 3.5(70%)’와 비교하면 훨씬 높다. GPT-4o 미니의 가장 큰 장점은 역시 가격이다. 유료모델이긴 하지만, 컴퓨터 자원을 낮게 소모하므로 가격을 낮출 여지가 생기기 때문이다. 정확한 이용 가격은 입력 토큰 100만개당 0.15달러, 출력 토큰 100만 개당 0.60달러로 책정됐다. 실제 서비스는 정액제 위주로 이뤄지겠지만, 기존 유료사용자와 비교해 50~60% 낮은 가격으로 서비스가 가능할 것으로 보인다. 오픈AI 측은 “지금까지 내놓은 모델 중 비용면에서 가장 효율적인 모델”이라고 설명했다. 비단 이런 선택을 한 건 오픈AI 뿐 아니다. 구글도 지난달 자사의 AI모델 ‘제미나이’를 한층 경량화 한 ‘제미나이 플래시’를 내놓은 바 있다. 오픈AI 출신 직원이 설립한 AI 기업 ‘앤스로픽’도 지난 3월 ‘클로드3 하이쿠’를 출시했다. 마이크로소프트(MS)도 지난 4월 경량 AI 모델 ‘파이-3 미니’를 공개했다.
https://www.fortunekorea.co.kr/news/articleView.html?idxno=40616
제목: 메타, CoT 없이도 LLM 추론 향상하는 프롬프트 기술 ‘시스템 2 증류’ 공개
요약: 메타가 LLM이 중간 단계의 프롬프트 생성 없이도 추론과 계획이 필요한 복잡한 작업을 처리할 수 있도록 하는 ‘system 2 distillation’ 기술을 공개했다. 인지 과학에서는 패턴을 인식하고, 빠른 판단을 내리거나, 익숙한 기호를 이해할 때 사용하는 빠르고 직관적이며 자동적인 사고 방식을 '시스템 1'이라고 부른다. 반면 '시스템 2'는 수학 방정식을 풀거나, 여행을 계획하는 것과 같은 복잡한 문제 해결에 사용하는 느리고, 의도적이며, 분석적인 사고 방식을 의미한다. 메타가 공개한 시스템 2 증류 기술은 별도의 교사 모델을 사용하지 않는다. 대신 RaR(수정 및 응답), S2A(시스템 2 주의), BSM(분기 해결 병합), CoT(사고 사슬) 등의 시스템 2 프롬프트 기술을 사용한다. 이를 통해 동일한 프롬프트에 대한 LLM의 답변을 수집하고 비교해, 가장 자주 나타나는 답변을 정답으로 간주해 초기 프롬프트와 함께 '증류 데이터셋'에 추가한다. 그다음 구축된 증류 데이터셋으로 LLM을 미세조정하면, LLM은 추론 단계를 건너뛰고 바로 답변으로 넘어가지만 정확도 높은 답을 생성할 수 있다. 연구진은 라마-2-70B를 사용해 RaR, S2A, BSM, CoT 등 시스템 2 프롬프팅 기술과 시스템 2 증류 방법을 평가했다. 그 결과, 시스템 2 증류는 복잡한 추론 과제에서 LLM의 성과를 크게 개선할 수 있으며, 시스템 2 프롬프팅의 정확도와 일치하거나 능가했다. 또 증류 모델은 중간 추론 단계를 거칠 필요가 없기 때문에 훨씬 더 빠르게 응답을 생성할 수 있었다.
https://www.aitimes.com/news/articleView.html?idxno=161560
제목: 딥엘, 차세대 LLM 출시… “GPT-4·구글·MS 능가”
요약: 글로벌 언어 AI 기업 DeepL이 자사 번역 서비스에 차세대 언어 모델을 도입했다. 딥엘의 차세대 언어 모델은 번역과 글쓰기 교정을 위해 특별히 설계된 고도의 LLM 기술을 기반으로 한다. 신규 솔루션은 ▲언어에 특화된 자체 개발 LLM, ▲번역을 위해 수집한 독점 데이터, ▲언어 전문가의 모델 튜터링이 특징이다. 언어에 특화된 LLM으로 실제 사용하는 수준의 번역 및 작문을 제공하는 동시에 Hallucination 현상과 오역 리스크를 줄였다. 또한 딥엘은 공용 데이터를 단순 학습하는 범용 모델과는 달리, 콘텐츠 제작 및 번역만을 위해 7년 이상 수집한 독점 데이터를 활용해 모델 학습을 진행한다. 이 외에도 수천 명의 언어 전문가가 직접 언어 모델을 튜터링해 품질 개선 및 유지에 앞장서고 있다. LLM 기반 서비스는 DeepL Pro 사용자에게 제공되며, 영어, 일본어, 중국어 간체자, 독일어를 시작으로 점차 가능한 언어를 넓혀갈 예정이다. 사용자는 웹 환경에서 ‘next-gen model’을 선택해 새로운 LLM을 활성화할 수 있다.
https://www.edaily.co.kr/News/Read?newsId=01649846638955832&mediaCodeNo=257&OutLnkChk=Y
제목: "AI, 내가 원하는 것을 빠르게 추천"…LLM 기반 추천시스템 개발
요약: KAIST는 박찬영 산업및시스템공학과 교수 연구팀은 네이버와 공동으로 협업 필터링을 통해 LLM의 상품 추천 성능을 획기적으로 높일 수 있는 기술을 개발했다고 17일 밝혔다. 연구팀은 LLM을 직접 학습하는 대신 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보를 활용하는 '협업 필터링' 방식으로 신경망을 경량화했다. 목표 사용자와 비슷한 이력을 갖는 사용자가 상호작용한 상품을 추천하거나, 목표 사용자가 상호작용한 특정 상품과 유사한 상품을 추천하는 협업 필터링 방식을 적용한 것이다. 연구팀은 이를 통해 기존 연구보다 학습과 추론 속도를 각각 253%, 171% 높였고, 상품 추천에서도 평균 12% 향상된 성능을 보였다. 특히 다른 상품군의 쇼핑몰에서 학습한 모델로 현재의 쇼핑몰에서 추천을 수행하는 다중 도메인 상품 추천에서 42%, 사용자의 소비 이력이 풍부하지 않은 상품 추천에서도 평균 20% 향상된 성능을 달성했다.
https://www.dt.co.kr/contents.html?article_no=2024071702109931731005&ref=naver
제목: 중국, AI 모델도 사상 검증?…"사회주의 가치관 구현 확인"
요약: 중국 정부 당국이 AI 기업의 LLM을 심사해 ‘사회주의 핵심 가치를 구현하고 있는지’를 확인하고 있다. 영국 파이낸셜타임스는 17일 중국 사이버공간관리국(CAC)이 바이트댄스, 알리바바, 문샷 등 AI 관련 기술 기업들을 대상으로 자사 AI 모델에 대한 정부 검토를 의무화하고 있다고 보도했다. 이러한 노력에는 수많은 질문에 대한 LLM의 답변을 일괄 테스트하는 작업이 포함되며, 그중 상당수의 질문이 정치적으로 민감한 주제나 시진핑 중국 국가주석과 관련된 내용인 것으로 전해졌다. 중국 전역의 CAC 지역 본부 관계자들이 이러한 작업을 수행하고 있다. 모델 훈련 데이터, 기타 안전 프로세스도 검토 대상이다. 기본 모델은 답변에 제한이 없어서 필터링이 매우 중요하다. 필터링 작업은 학습 데이터에서 문제가 되는 정보를 걸러내고 민감한 키워드의 데이터베이스를 구축하는 것에서 시작된다. 2월 발표된 중국 AI 기업에 대한 운영지침에 따르면 AI 회사는 ‘국가 권력 전복 선동’, ‘국가 단결 훼손’ 등 핵심 사회주의 가치를 위반하는 수천 개의 민감한 키워드와 질문을 수집해야 한다. 민감한 키워드는 매주 업데이트될 예정이다.
https://m.news.nate.com/view/20240718n19426
