Weekly news on LLM - 5월 다섯째주
제목: MS, 미세조정 기술 '로라' 개선한 '모라' 공개
요약: LLM 매개변수 전체를 업데이트하는 대신 일부 매개변수만을 업데이트하는 미세조정 기법 ‘로라(LoRA)’를 개선한 새로운 기술이 나왔다. 벤처비트는 MS와 베이징 항공항천대학교 연구진이 널리 사용되는 MS의 미세조정 기술 ‘로라’를 개선한 새로운 매개변수 효율적 미세조정(PEFT) 기법 ‘모라(MoRA)’에 관한 논문을 온라인 아카이브에 게재했다고 전했다. 일반적으로는 미세조정 후 가중치를 기본 LLM과 병합하지만, 로라는 가중치를 추론 중에 기본 모델에 연결하는 별도의 ‘어댑터(Adapter)'로 대체할 수 있다. 이 방법을 통해 막대한 비용을 들이지 않고도 맞춤형 LLM 기반 서비스를 제공할 수 있다. 그러나 로라는 전체 미세조정에 비해 성능이 떨어진다는 단점도 생긴다. 특히 텍스트 분류 및 지시 조정과 같은 작업에서 잘 작동하지만, 수학적 추론 및 지속적인 사전 훈련과 같은 복잡한 작업에서는 새로운 지식을 학습하고 기억하는 능력이 제한된다.이는 로라의 어탭터 순위가 모델의 전체 순위보다 매우 작기 때문에, 미세조정을 통해 새로운 정보를 저장하는 능력을 제한하기 때문이다. 로라의 이런 한계를 해결하기 위해 연구진은 저순위 행렬 대신 정방 행렬(square matrix)을 사용하는 PEFT 기법 모라를 도입했다. 모라는 모델의 전체 매개변수 공간에서 가능한 한 높은 순위에서 학습 가능한 매개변수를 사용하는 것이 핵심이다. 로라와 달리, 모라 어댑터의 입력 및 출력 차원은 원래 모델의 차원과 일치하지 않아 동일한 행렬 곱셈 연산에서 결합할 수는 없다. 이 차이를 해소하기 위해 연구진은 두 공간 간의 입력을 변환하는 압축 및 압축 해제 기능을 개발했다. 이를 통해 모라가 다양한 크기의 LLM에 쉽게 통합될 수 있도록 했다.
https://www.aitimes.com/news/articleView.html?idxno=160122
제목: 메타, 최강 성능 비전 모델 ‘라마3-V’ 공개…"8B로 GPT-4V와 동급"
요약: 메타가 '라마3'를 기반으로 구축한 최초의 이미지-텍스트 멀티모달 모델을 공개했다. 벤치마크에서 크기가 100배 이상인 'GPT-4V' '제미나이 울트라' '클로드 3 오퍼스'와 비슷한 성능을 기록했다고 밝혔다. 마크테크포스트는 메타가 ‘라마3 8B’ 모델을 기반으로 시각적 정보를 이해하는 비전 모델 ‘라마3-V’를 출시했다고 보도했다. 라마3-V는 다양한 양식이 입력되면 이를 텍스트나 이미지를 처리하는 개별 모델로 인코딩한 뒤 추론을 위해 인코딩을 융합하는 ‘후기 융합(late fusion)’ 방식을 사용하는 멀티모달 모델이다. 다른 양식으로 훈련한 모델들을 연결, 이미지 및 코드와 같은 다른 양식을 텍스트로 변환한 후 다시 토큰으로 변환하는 식이다.
https://www.aitimes.com/news/articleView.html?idxno=160224
제목: 오픈AI, 대학 전용 ‘ChatGPT Edu' 출시
요약: 오픈AI는 공식 블로그를 통해 대학이 학생, 교직원, 연구원 및 캠퍼스 운영에 AI를 도입할 수 있도록 구축한 'ChatGPT Edu'를 출시했다고 발표했다. 이 제품은 'GPT-4o'를 기반으로 텍스트와 이미지를 추론하고 데이터 분석과 같은 고급 도구를 사용할 수 있다고 전했다. 또 기업용 챗GPT 수준의 보안과 제어 기능을 포함하고 있으며, 교육 기관에 적합한 가격이라고 설명했다. 구체적인 가격은 공개하지 않았다. ChatGPT Edu는 학생을 위한 맞춤형 개인지도, 이력서 검토, 연구원의 보조금 신청서 작성 지원, 교직원의 채점 및 피드백 지원 등 캠퍼스 전체에서 다양한 작업을 수행하는 데 도움을 줄 수 있다고 소개했다. 또 50개 이상의 언어를 지원하며, 채팅 내용은 ChatGPT 교육에 다시 사용되지 않는다고 밝혔다.
https://www.aitimes.com/news/articleView.html?idxno=160234
제목: AI 만나 ‘엔드투엔드 자동화’로 나아가는 RPA
요약: RPA는 기존 업무 프로세스를 유지하면서도 효과를 얻을 수 있어 위험 부담이 적다. 신규 솔루션 도입이나 차세대 시스템 구축으로 업무 프로세스를 개선해 생산성을 높이는 방안도 있다. 하지만 이 경우 업무 환경 변화로 인한 직원들의 불만이 있을 수 있다. 이전에 사용하던 다른 솔루션과의 호환성 등에 문제가 발생할 수도 있다. 현재 글로벌 RPA 시장은 유아이패스, 오토메이션애니웨어, SS&C 블루프리즘 등 3개 업체가 주도하고 있다. 반면, 공공시장에서는 국산 제품이 우세를 점하고 있다. 삼성SDS의 브리티, 포스코DX의 에이웍가 공공시장에 많이 공급되었다. 업계 관계자는 “온프레미스로 RPA를 구축할 때 기본적으로 로봇 역할을 할 전용 컴퓨터가 필요하다. 물론 개인용 컴퓨터에서 PIP 형태로 구현할 수 있지만, 직원이 사용하는 프로그램과 자동화 업무가 겹칠 경우 문제가 발생할 수 있어 별도의 컴퓨터를 두는 경우가 많다”고 설명했다. 그뿐만이 아니다. 유지보수를 위한 인력도 갖춰야 한다. RPA는 정형화된 프로세스로 움직일 때 뛰어난 효율을 발휘하지만, 예상치 못한 변수에 즉각적인 대응이 어렵다. 솔루션이나 업무 내용이 바뀌면 이에 맞게 RPA를 조정해야 한다. 컴퓨터 등 하드웨어도 함께 작동하기에 유지보수가 매우 중요하다. 이런 상황에서 업체들은 RPA를 쉽게 도입할 수 있도록 서비스형 소프트웨어(SaaS) 형태의 RPA를 내놓기 시작했다. 개발 툴과 운영·관리 도구는 기존과 동일하지만, SW 로봇 역할을 별도의 컴퓨터가 아닌 클라우드 환경으로 구현하는 방식이다. RPA 업체들은 AWS, 애저 등 클라우드 서비스 제공업체와 협력해 SaaS 서비스를 확대하고 있다. RPA에게도 약점은 있다. 의사결정이 불가능하고 비정형화된 데이터를 다루기 어렵다는 점이다. 정형화된 프로세스는 빠르고 정확하게 수행할 수 있지만 문서, 이미지 등이 포함되는 업무는 해결하지 못한다는 한계를 갖고 있다. 그리드원 김계관 대표는 “RPA가 해결할 수 있는 일은 정확히 정해진 것을 입력하고 불러오는 등의 반복적이고 기계적인 업무다. 하지만 직접 읽고 분류해야 하는 비정형 업무의 비중도 상당하다. 결국 문서, 이미지와 같은 비정형 데이터를 다루지 못한다면 완전한 의미에서의 자동화를 이뤄낼 수 없다”고 지적했다. 다른 업계 관계자 역시 “문서를 처리하지 못한다는 점이 한동안 RPA의 문제였다. 프로세스에 맞게 잘 운영되다가도 비정형화된 부분에서 끊기는 일이 다반사였다. 특히 문서를 많이 다루는 금융권에서는 이 같은 문제를 해소하지 못하면 기대한 만큼 효과를 거둘 수 없다”고 말했다. 업체들은 몇 년 전부터 이러한 RPA의 문제를 해결하기 위해 AI를 결합하기 시작했다. 정형화된 프로세스는 RPA가 처리하되 비정형화되고 복잡한 문제 해결에는 AI를 활용하는 것이다. 이를 위해 업체들은 Mining, OCR, NLP, 컴퓨터 비전, ML 등 AI 관련 기술을 총망라하는 플랫폼을 만들기 시작했다. 이메일 데이터를 모아 인사이트를 제공하고, 문서는 OCR, NLP를 통해 정형화된 데이터로 처리하는 작업까지 지원해 완성도 높은 업무 자동화가 가능해졌다. RPA에서 시작해 ML, AI 등을 접목함으로써 업체들이 도달하고자 하는 지점은 ‘엔드투엔드(End-to-End)’ 자동화다. 많은 기업이 RPA를 도입했지만, 특정 작업·프로세스를 자동화하는 데 그치는 경우가 많다. 특히 RPA가 충분히 역할을 못하는 지점에서 자동화가 분절되며 원하는 만큼의 성과를 거두지 못하는 경우도 있다.
http://www.itdaily.kr/news/articleView.html?idxno=223653
제목: AI 빅테크 맞서 자국어 LLM 개발 경쟁 치열
요약: 글로벌 빅테크 기업들의 LLM 개발에 맞서 각국의 문화와 언어에 특화된 '소버린 AI'에 대한 관심이 갈수록 높아지고 있다. 27일 업계에 따르면 주요 국가들은 AI 주권 및 자체 능력을 키우고, 각국에 특화된 모델을 개발하기 위해 문화, 역사, 특성에 맞는 AI 모델 개발에 속도를 내고 있다. 영국 정부는 GPT4 같은 파운데이션 모델 훈련을 위해 1억파운드 및 슈퍼컴퓨터에 9억파운드를 투입키로 했다. 오픈AI, 구글 등 미국 기업을 중심으로 형성 중인 AI 패권을 견제하고, 영국 문화와 역사에 초점을 맞춰 설계된 '브릿GPT'를 개발하겠다는 목표다. 일본도 민간 기업들과 함께 일본어에 기반한 자체 AI 모델 개발을 추진하고 있다. 일본 소프트뱅크도 일본 전역에 AI 데이터센터를 구축해 자체 생성형 AI를 개발할 계획이다. 인도의 스타트업 크루트림은 20가지 이상의 인도 언어를 이해하고 10가지 언어로 콘텐츠를 생성할 수 있는 LLM을 개발했다. 인도만의 문화, 맥락, 문법 등 문화적 정체성을 아우를 수 있는 모델이다. 이탈리아 대표 통신사 패스트웹은 올해 1·4분기 실적발표에서 이탈리아어로 훈련된 첫 LLM 개발 소식을 알렸다. 이외에 중국, 프랑스도 각각 화웨이, 미스트랄AI 등 자국의 AI 대표 기업 키우기에 집중하고 있다.
https://www.fnnews.com/news/202405261439067720
제목: 솔트룩스 이경일 대표 "구글 잡는 AI 검색 서비스 '구버' 6월 출시"
요약: 솔트룩스 컨퍼런스에서 "차세대 AI 모델 '루시아2'를 기반으로 하는 Goover는 구글을 넘어선 킬러 서비스가 될 것이고, 다음달 한국과 미국에서 출시할 것이다."라고 발표했다. "루시아 2는 기존보다 두 배 가량 큰 학습 데이터 1.5테라바이트다."이라며 "한 번에 이해할 수 있는 입력 토큰 길이도 6만4000토큰 수준으로 무려 30배 이상 확장 됐다. 이는 거의 책 한 권을 통째로 읽고 답변하고 학습할 수 있는 능력을 의미한다"고 전했다. 루시아 2는 토크나이저 효율성도 상향돼 한국어 생성 속도는 메타의 '라마3' 대비 약 18% 이상 향상됐으며, 비용은 감소했다. 또한 학습한 지식을 부분적으로 편집함으로써 보유 지식의 품질을 유지할 수 있으며, 지식 편집 성능은 88.4% 수준이다. RAG와 연계되는 '에이전트 루시아' 및 '루시아 임베딩' 기능도 향상됐다. 오픈AI의 임베딩 모델과 비교했을 때, 한국어 검색에서는 18.75%, 한국어-영어 교차 검색에서는 15.62% 향상된 정확도를 보였다. '구버'는 마치 자율주행차처럼 지식 탐구 활동을 자동화한다는 개념의 초개인화 큐레이션 서비스다. 사용자의 검색 키워드와 업로드 문서 등을 통해 관심사를 학습한 AI 뇌 ‘커넥톰’이 전 세계 웹을 실시간으로 트래킹하고 가장 최적화된 정보만 찾아 제공할 뿐 아니라, 이에 대한 심층 리포트를 자동으로 생성하고 브리핑한다. 챗GPT처럼 채팅만으로 정보 추천, 요약, 번역, 정리 등 다양한 업무를 처리할 수 있는 AI 에이전트 '애스크 구버'가 탑재됐다.
https://www.newsis.com/view/?id=NISX20240530_0002755034&cID=10406&pID=13100
제목: 조용히 AI 속도 내는 엔씨소프트…바르코 LLM 2.0 공개
요약: 바르코 LLM 2.0은 엔씨소프트가 지난해 8월 공개한 바르코 LLM의 차세대 버전이다. 7B 규모의 '스몰' 모델과 13B 크기의 '베이스' 모델로 나뉘어 있다. 바르코 2.0은 기존에 바르코가 지원하던 한국어·영어뿐 아니라 일본어와 중국어까지 능숙하게 구사할 수 있는 것이 특징이다. 학습 데이터 양도 늘렸다. 바르코 LLM 2.0은 1.0 모델보다 사전 학습에 4.5배, 튜닝에 10배 많은 학습 데이터를 사용해 성능을 높였다. 또 AI 윤리를 고려한 자체 구축 데이터셋도 추가로 학습해 이용자 친화적인 답변을 내놓는다.엔씨소프트는 향후 바르코 LLM 2.0을 기반으로 한 챗봇 서비스용 언어 모델 '다이얼로그', 실제 게임 기획 문서 작성에 사용할 수 있는 '스토리' 모델을 공개할 방침이다. 또 텍스트뿐 아니라 그림, 문서 등을 이해할 수 있는 멀티모달 LLM인 바르코 MLLM 1.0도 하반기 공개할 계획이다.
https://www.yna.co.kr/view/AKR20240527070600017?input=1195m
