Weekly new on LLM - 10월 셋째주
제목: 메타, 사용자 감정까지 분석하는 신규 LLM 공개
요약: 메타가 감정 상태를 반영하는 신규 AI를 선보인다. 20일 벤처비트 등 외신에 따르면 메타는 시각·청각 등 여러 유형의 데이터를 함께 활용하는 방식(멀티모달)으로 제작된 언어모델 ‘메타 스피릿 LM’을 깃허브를 통해 출시했다.스피릿 LM은 텍스트와 음성 데이터를 함께 학습시켜 두 형태 사이의 상호작용을 분석해 사용자 감정을 읽어낸다. 이 프로그램은 70억개 매개변수 규모의 텍스트와 음성 데이터를 연계한 학습과정을 거쳤으며 스피릿 LM 베이스와 스피릿 LM 익스프레시브 2가지 모델로 제공된다. 스피릿 LM 베이스는 음성을 중심으로 데이터를 입력 받아 답변을 제공하며, 스피릿LM 익스프레시브는 추가로 음성의 높낮이 등을 인식해 화자의 감정 표현까지 인식해 제공한다. 분노, 놀라움, 기쁨 등의 감정 상태를 감지하고 이를 답변 등에 반영할 수 있어 가상 비서, 챗봇 등에서 보다 자연스러운 의사소통과 서비스를 제공할 수 있을 전망이다. 메타 측은 “보다 자연스럽고 표현력이 풍부한 AI 모델을 개발하고 오픈소스로 제공할 계획”이라며 “이를 통해 AI 커뮤니티에서 멀티모달 AI 애플리케이션에 대한 새로운 가능성을 열 수 있도록 지원할 것”이라고 밝혔다.
https://www.seoulwire.com/news/articleView.html?idxno=624227
제목: 하태경 "AI기반 우수 설계사 추천 플랫폼 만들것"
요약: 보험연수원이 LLM 기반의 우수 보험설계사 추천 인공지능(AI) 플랫폼을 개발한다. 보험 영업 현장에 첨단 테크를 도입해 불완전판매 시비 등을 사전에 차단, 보험 산업에 대한 소비자 신뢰를 높이기 위해서다. 하태경 보험연수원장은 “보험 산업은 소비자 신뢰 회복이 무엇보다 중요하다. 믿음직한 설계사를 추천하는 AI 시스템을 개발하겠다”며 이같이 밝혔다. 하 원장은 임기 3년간 중점 추구할 비전으로 AI와 글로벌을 꼽았다. 그는 “AI는 AI 교육 사업과 LLM 구축 사업으로 나눠 진행하겠다”며 “AI 보험 직무 교육, AI 리터러시 교육, AI 신금융 교육을 신설하는 한편 LLM을 만들어 설계사 추천을 비롯한 다양한 서비스를 제공하겠다”고 말했다. 하 원장은 일본 보험 업계와의 교류도 추진하겠다고 밝혔다. 그는 “한국 보험 산업이 상품 설계와 판매가 분리되는 ‘제판분리(製販分離)’의 길을 걷고 있는데 보험사의 자산운용 수익률이 매우 중요해진다”며 “한국보다 수익률이 높은 일본 보험 업계와 교류해 노하우를 배울 생각”이라고 말했다. 보험연수원은 하 원장의 아이디어에 따라 빠른 시일 안에 일본 보험 업계와 ‘한일 AI 자산운용 포럼’을 개최할 계획이다. 한국과 미국·일본 보험업계의 투자수익률을 비교해 보면 미국이 가장 높고 그 다음이 일본, 한국 순이다. 위험자산 투자에 대한 규제 정도가 달라 이런 차이가 발생한다는 게 하 원장의 분석이다. 그는 “한국 보험 업계가 갑자기 규제 장벽이 낮은 미국식을 따라갈 수는 없고 일본의 규제 모델과 보험사들의 자산운용 방식을 배워 보려고 한다”며 “김대중 정부 때 일본 문화를 개방한 것이 문화 선진국으로 가는 시발점이 됐던 것처럼 보험 역시 국제 교류가 도약의 계기가 될 것”이라고 강조했다. 중국 보험업계와의 교류도 추진한다. 중국은 AI와 핀테크가 강해 배울 점이 많다고 보고 있다. 하 원장은 “‘한중 AI 보험 포럼’을 개최해 AI 금융의 발전 방향을 정립하겠다”고 말했다.
https://www.sedaily.com/NewsView/2DFM8NJ54M
제목: "왜 MS였나?"…KT, MS와 '2.4조' 손 잡은 이유
요약: KT가 마이크로소프트와 협력해 내년 상반기 중에 한국형 특화 AI 모델을 개발한다. KT는 지난 9월 말 사티아 나델라 MS CEO와 파트너십 계약을 체결하며, 올해부터 2029년까지 약 2.4조 원을 공동 투자하기로 합의했다. 양사는 국내 공공, 금융, 교육 시장을 겨냥해 '보안 퍼블릭 클라우드'를 공동 개발하고 서비스하기로 했으며, MS가 투자한 오픈AI의 'GPT 4o' 한국형 모델과 MS의 소형 언어 모델인 '파이(Phi)'의 한국형 개발도 진행할 계획이다. 이와 관련해 KT와 MS는 연내 AIX 전담 회사를 설립할 예정이다. 이 회사는 KT 계열사로 출범하며 AI 컨설팅 및 기획 업무를 수행할 전망이다. 특히 두 회사는 행정안전부 및 국가정보원의 물리적 망분리 완화 추세에 맞춰, 다중계층 보안 기반의 공공 퍼블릭 클라우드 시장에 진출하기 위해 '보안 퍼블릭 클라우드'를 내년 1분기에 출시할 계획이다. 투자 규모는 대략 2.4조원 규모다. 그 중 50%가 GPU·IDC 등 인프라에 해당되고, 이외에도 R&D나 한국형 AI 모델 공동 개발 등에 투자가 이뤄질 예정이다. 당연히 투자 금액에 대한 변동은 있을 수 있다. 글로벌 탑티어 회사들이 LLM을 낸 상황에서 믿음은 소형언어모델(sLM)을 공략할 예정이다.
제목: "AI 자산관리 고도화…내년 상반기 은행·지주앱서 서비스"
요약: "고도화된 AI 자산관리 서비스인 'AI투자메이트'를 내년 상반기까지 'SOL뱅크’와 '슈퍼SOL'에서 선보이며 새로운 프로토타입을 제시하겠다." AI투자메이트는 고객 질문에 답하는 Q&A 서비스에서 출발, 펀드 등 AI가 금융상품도 상담할 수 있도록 진화를 앞두고 있다. 김 단장은 자체 LLM으로 개발한 AI투자메이트를 연내에 출시한 뒤 오는 12월 금융위원회 혁신금융서비스 결과에 맞춰 외부모델로 업그레이드된 최종 버전을 내년 상반기까지 내놓을 계획이다. 김 단장은 "전체 업무를 AI뱅커(은행원), AI상담사, AI엑스퍼트(심사역·검사역·신용평가), AI어시스턴트(업무자동화) 등 4개 영역으로 나눠서 효율화하고, '보이지 않는 곳'에서 AI를 사용해서 업무를 효율적으로 빠르게 할 수 있는 것"이라고 강조했다. 가령 AI어시스턴트 영역인 'AI스튜디오'는 클릭 세 차례로 현업에서 원하는 마케팅 타깃 리스트를 뽑을 수 있다. AI스튜디오는 AI 기술을 활용해 고객 특성을 분석하고 각 고객에게 맞춤형 서비스를 제안하는 AI플랫폼이다. 올해 3월 전국 영업점에 도입됐다. AI스튜디오는 올해 안에 버전 2.0으로 업데이트할 예정이다. 직원용 AI인 R비서는 업무자동화 수준을 높이고, 대고객 AI 서비스인 AI은행원 오는 28일 처음 고객에게 공개되는 AI브랜치에서 만날 수 있다. 이 같이 신한은행은 은행업무 전반에서 AI 활용도를 끌어올려 대고객 서비스와 대직원 서비스를 고도화하고 있다.
https://www.fnnews.com/news/202410141818091403
제목: LG유플러스 연내 통화비서 '익시오' 출시…AI기업 변신 속도
요약: LG유플러스가 통화 비서 ‘익시오’ 등 자체 개발 서비스를 앞세워 확고한 AI 기업으로 자리매김하고 있다. 전문가들은 무엇보다 LG유플러스의 자체 AI 모델 ‘익시젠’의 사업성을 긍정적으로 평가했다. 챗봇과 IPTV, B2B 서비스, 사내 업무 솔루션 등 전체 사업 영역에 익시젠을 적용해 서비스를 고도화하고 경영을 효율화할 수 있다는 이유에서다. 자체 AI 모델을 개발하기 위해 막대한 투자 자금을 집행해야 하는 다른 경쟁사들과 달리 LG유플러스는 LG그룹의 LLM을 활용할 수 있어 비용을 절감할 수 있다는 부분이 강점으로 꼽혔다. LG유플러스는 익시젠을 적용해 연내 AI 통화 비서 서비스 익시오를 선보이겠다는 방침이다. 익시오를 통하면 통화 녹음·요약, 보이는 전화, AI 전화 대신 받기 등의 서비스를 사용할 수 있다. LG유플러스는 개인정보보호위원회와 서울경찰청, 국립과학수사연구원 등에서 범죄자 목소리 데이터를 공유받아 익시오에 실시간 보이스피싱 탐지 기능까지 탑재할 계획이다.
https://www.sedaily.com/NewsView/2DFN6HVZ0M
제목: 'GPT-4'보다 12배 더 빠른 AI 에이전트 모델 오픈 소스 등장
요약: AI 스타트업 카타네모가 AI 에이전트 구축에 중요한 함수 호출을 가속화하는 LLM을 오픈 소스로 출시했다. AI 에이전트에 특화된 모델이니만큼, 기존 LLM보다 함수 호출 속도가 10배 이상 빠르다고 강조했다. 카타네모가 함수 호출 작업을 위해 특별히 설계된 Arch-Function-1.5B, 3B, 7B 등을 오픈 소스로 공개했다. 이 모델들은 복잡한 함수를 이해하고, 필요한 매개변수를 식별하고, 자연어 프롬프트를 기반으로 정확한 함수 호출 출력을 생성하도록 설계됐다. 이를 위해 Arch라는 지능형 프롬프트 게이트웨이를 오픈 소스화했다. 이 게이트웨이는 API를 사용하여 LLM 애플리케이션을 보호, 관찰하고 개인화하도록 설계됐다. 10억개 미만의 매개변수를 가진 특화된 LLM을 사용해 프롬프트 처리와 관련된 모든 중요한 작업을 처리한다. 살만 파라차 카타네모 CEO는 "간단히 말해 아치-함수는 사용자 프롬프트를 통해 트리거된 애플리케이션 특정 작업을 호출하여 LLM 앱을 개인화하는 데 도움을 준다"라며 "아치-함수를 사용하면 보험 청구 업데이트부터 프롬프트를 통해 광고 캠페인 생성에 이르기까지 도메인 특정 사용 사례에 맞춘 빠른 자율적 워크플로를 구축할 수 있다"라고 말했다. 자연어 프롬프트 세트를 사용해 아치-함수 모델은 복잡한 함수를 이해하고, 필요한 매개변수를 식별하며, 정확한 함수 호출 출력을 생성할 수 있다. 이를 통해 API 상호작용이나 자동화된 백엔드 워크플로와 같은 필요한 작업을 실행할 수 있다. 이는 기업이 에이전트 애플리케이션을 개발할 수 있도록 지원한다. 기업은 아치-함수를 통해 에이전트 애플리케이션을 지원하는 더 빠르고 경제적인 함수 호출 LLM을 확보할 수 있다는 설명이다. 아직 이런 모델이 어떻게 활용되고 있는지에 대한 사례 연구를 공유하지 않았지만, 높은 처리량 성능과 낮은 비용은 캠페인 최적화를 위한 데이터 수집 처리나 클라이언트에게 이메일 발송과 같은 실시간 생산 사용 사례에 이상적인 조합을 제공한다고 전했다.
https://www.aitimes.com/news/articleView.html?idxno=164291
제목: 업스테이지, 차세대 광학문자인식 모델 출시
요약: 업스테이지는 정확하고 빠르게 문서를 분석해 LLM으로 처리할 수 있는 차세대 OCR 모델 '도큐먼트 파스(Document Parse)'를 출시했다고 17일 밝혔다. 이 모델은 OCR 기술에서 명확한 인식이 어려웠던 여러 열의 레이아웃이나 테이블 등을 포함한 복잡한 형태의 문서에서도 각 구조와 텍스트 정보를 정확히 분석해 데이터 자산화를 가능하게 한다고 회사가 설명했다. 어떤 형식의 문서도 HTML과 같은 구조화한 텍스트 형식으로 전환해 기업이나 기관에서 실제 LLM 활용 시 바로 적용할 수 있다. 업스테이지는 도큐먼트 파스를 통해 RAG 시스템 성능과 LLM의 응답 정확도를 결정하는 핵심 요소인 데이터 전처리 과정에서 정확성뿐만 아니라 속도와 사용성 측면에서도 가장 진보한 형태의 문서 처리 기술을 선보인 것이라고 강조했다. 또 문서 구조 분석 벤치마크인 DP-Bench 테스트 결과 도큐먼트 파스가 레이아웃 및 테이블 구조, 콘텐츠 분석 등 정확성을 측정하는 모든 지표에서 AWS와 MS를 포함한 빅테크 5개 사의 관련 서비스에 비해 5% 이상 높은 점수를 받았다고 전했다.
https://www.yna.co.kr/view/AKR20241017052500017?input=1195m
제목: 젠슨 황 "19일 만에 슈퍼컴 구축한 머스크는 슈퍼맨...남들은 1년 걸릴 일"
요약: 젠슨 황 엔비디아 CEO가 일론 머스크 CEO를 "슈퍼맨"이라고 칭찬했다. 슈퍼컴퓨터 구축을 불과 19일 만에 해냈다는 이유에서다. 황 CEO는'일론 머스크는 슈퍼맨'이라며 '다른 사람들이 1년 걸리는 일을 그는 19일 만에 해냈다"라고 말했다. 이는 지난 8월부터 가동을 시작한 xAI의 멤피스 컴퓨팅 클러스터 '콜로서스'를 두고 한 말이다. 무려 10만개의 엔비디아 GPU가 투입된 현존 세계 최대의 AI 데이터센터다. "콜로서스가 하드웨어 설치에서 훈련을 시작하는 데 19일이 걸렸다"라며 "지금까지 가장 빠른 속도"라고 강조했다. 또 데이터센터를 건설하고 서버를 작동하는 데까지 걸린 총기간이 122일이라고 덧붙였다. 황 CEO는 "내가 아는 한, 그런 일을 할 수 있는 사람은 전 세계에 한명뿐"이라며 "일론은 엔지니어링, 건설, 대규모 시스템 및 리소스 정리에 대한 이해도가 매우 뛰어나다. 믿을 수 없다"라고 말했다. 또 xAI의 엔지니어링, 소프트웨어, 네트워킹 및 인프라 팀 등을 칭찬하고 "놀랍다"라고 전했다. 콜로서스에 대해서는 "10만개의 GPU를 하나로 클러스터로 묶은 지구상에서 가장 빠른 슈퍼컴퓨터"라고 인정했다. 그리고 이 정도 시설을 구축하려면 "일반적으로 계획하는 데 3년이 걸리고, 그다음 장비를 전달하고 모든 것을 작동시키는 데 1년이 걸린다"라고 설명했다.그는 엔비디아 하드웨어의 네트워킹이 얼마나 복잡한지 자세히 설명했다. 기존 데이터 센터 서버를 네트워킹하는 것과 차원이 다르다는 설명이다. 또 머스크 CEO처럼 10만개의 H200 GPU를 통합한 것은 "이전에 한번도 시도된 적이 없다"라고 강조했다.
https://www.aitimes.com/news/articleView.html?idxno=164230
