Weekly news on LLM - 8월 다섯째주
제목: 보험硏 "보험사 업무, AI와 사람 협업 가능토록 구현해야...생성형 AI로 데이터 분석 목표"
요약: 보험연구원은 국내 최대 핀테크 행사인 '코리아 핀테크 위크 2024'를 맞이해 '인슈어테크 기업의 생성형 AI 활용과 전망'이라는 주제로 세미나를 개최했다고석태 마이즈앤컴퍼니 대표는 생성형 AI의 도입과 관련해 보험사의 효율적인 운영 방안을 모색하고, 그에 따른 기술적 및 조직적 준비 사항을 제시했다. 챗 GPT 이후 빠르게 진화하고 있는 기술의 변화와 혜택을 금융사 내부로 유연하게 반입하고 활용하는 체계가 필요하다는 설명이다. 고 대표는 이를 위해 △보험사별 생성형 AI 추진 전략 및 방안 수립 △보험산업의 특성을 고려한 생성형 인프라 구축 △금융사 내부의 생성형 AI 추진 역량 내재화 등의 노력이 필요하다고 강조했다. 고 대표는 AI 추진 전략 및 방안과 관련해 "보험사 업무 전반을 AI와 사람이 효율적으로 협업할 수 있도록 만들어야 하며, 전사적인 프로세스를 재설계하고 이를 실행할 수 있는 생성형 AI 활용 인프라가 필요하다"면서 "보험사·금융사 AI 역량은 AI 전담 부서에 과제를 위탁하는 방식이 되어서는 안 된다"고도 덧붙였다. 단순 RAG QA와 같은 과제로는 생성형 AI 투자 대비 재무적인 ROI를 기대하기 어려우므로 지속 가능한 도입 방안을 고려해야 한다는 조언도 나왔다. 고 대표는 " 가입설계, 언더라이팅, 클레임 등 보험사의 핵심 업무와 관련된 의사결정을 지원하는 AI 어시스턴트 도입을 검토해야 한다"며 "업무 지원을 넘어서 업무를 완결할 수 있는 AI 에이전트 도입 또한 고려해야 한다"고 전했다. 이를 통해 최종적으로는 생성형 AI 모델을 기반으로 데이터 분석 기능이 구현될 수 있도록 시스템 아키텍처를 수립해야 다양한 업무 및 서비스 관리의 통합이 가능해질 수 있다는 관측이다.
https://www.fnnews.com/news/202408291509441779
제목: 토종 AI앱, 챗GPT 따라붙을까…206만명이 선택한 '이 앱'
요약: SK텔레콤이 출시한 AI 개인비서 서비스 '에이닷'이 생성형 AI 앱 중 챗GPT에 이어 두 번째로 많은 국내 사용자를 확보하면서 영향력을 강화하고 있다. 29일 앱·리테일 분석 서비스 와이즈앱·리테일·굿즈에 따르면 지난달 에이닷의 MAU수는 206만명으로 추산됐다. 와이즈앱이 한국인 스마트폰 사용자 약 5120만명을 대상으로 패널 조사를 거쳐 통계적 추정 방식을 통해 산출한 결과다. 실제 MAU와는 차이가 날 수 있다. 가장 많은 사용자 수를 기록한 앱은 챗GPT였다. 챗GPT 사용자 수는 같은 기간 162만명에서 396만명으로 2배 이상 늘었다. 올 1월엔 에이닷보다 3만명 더 적은 MAU를 기록했지만 사용자 수가 가파르게 증가하면서 1위를 차지했다. 챗GPT 사용자는 이 기간 234만명 늘었다. 이어 뤼튼 105만명, 마이크로소프트 코파일럿 29만명, 누구 22만명 순으로 조사됐다.
https://www.hankyung.com/article/202408293455g
제목: AI 거품론?… MS, 코파일럿 수익 늘고 SLM 생태계 확장
요약: 생성형 AI 등장으로 전 산업계가 변화를 겪으면서 일각에선 AI 거품론이 대두됐다. 이런 상황에서도 마이크로소프트는 AI 투자 실질적 성과를 보여주고 있어 주목된다. 빅테크 기업들 실적이 둔화하면서 AI 거품론이 떠올랐다. AI 기업들이 사업을 지속 영위하기 위해선 외부 투자 없이는 어려운 구조적 문제가 지적된 것. 특히 LLM 개발과 운영에 들어가는 막대한 비용 대비 실질적인 수익 창출은 더디다는 점이 주된 이유다. MS는 마이크로소프트365용 코파일럿 서비스 수익이 증가하고 있고 SLM 영역으로도 확장하는 중이다. AI 실용성과 수익성을 입증하며 투자를 지속하고 있는 모습이다. MS 업무용 AI 담당 기업 부사장 재러드 스파타로는 “지난 분기 M365 코파일럿 고객 수가 60% 이상 증가했고 일일 사용자 수도 2배 이상 늘었다”고 말했다. 스파타로 부사장은 “코파일럿 성공 비결은 기업 사용자 업무 시간을 절약한다는 걸 증명하는 것”이라고 전했다. 실제로 MS가 60개 기업 대상으로 6개월간 자체 연구한 결과, 코파일럿 사용으로 해당 기업들 이메일 사용량이 50% 감소한 것으로 나타났다. 스파타로 부사장에 따르면 네트워크·사이버보안 회사 루멘 직원들은 코파일럿을 사용해 주당 4시간을 절약했고, 이는 연간 5000만달러 비용 절감 효과로 이어질 것으로 전망했다. IT기업 코그니전트는 이메일에 소요되는 시간이 10% 감소했고 직원들이 회의를 일찍 끝내는 경우가 27% 증가했다. 이러한 성과를 바탕으로 MS는 AI 기술 개발에 더욱 박차를 가하고 있다. 특히 주목할 만한 점은 MS가 LLM뿐만 아니라 SLM 영역으로도 확장하고 있다는 것이다. 이는 AI 기술을 다양한 분야에 응용하고 실용적으로 사용할 수 있게끔 만드는 전략으로 풀이된다. LLM이 강력한 성능을 보여주긴 하지만 많은 컴퓨팅 자원을 필요 한다. 반면 SLM은 상대적으로 적은 자원으로 특정 분야에서 특화된 성능을 발휘한다. 기업들은 SLM을 활용해 각 상황에 맞는 AI 솔루션을 유연하게 선택할 수 있다. MS는 최근 ‘파이3.5’ 시리즈를 발표했다. 기존 SLM 성능을 한층 개선한 모델로, 파이3.5-미니, 파이3.5-비전, 파이3.5-MoE 등 3종으로 구성됐다. 이 시리즈는 문서 처리 능력 향상, 다국어 지원 확대, 이미지 이해 및 분석 능력 강화 등 다양한 측면에서 성능이 개선됐다. 이런 MS 행보는 AI 기술이 실질적인 비즈니스 가치를 창출하는 도구로 발전하고 있음을 보여준다.
https://www.ddaily.co.kr/page/view/2024083011351222413
제목: SKT “AI 개인비서 ‘에이닷’ LLM 7종 무료 이용”
요약: SK텔레콤의 AI 개인비서 서비스 ‘에이닷’에서 글로벌 최신 LLM 7종을 한 번에 이용할 수 있게 됐다. 주요 LLM을 한데 모은 멀티 LLM 에이전트를 통해 오픈AI의 챗GPT, 앤트로픽의 클로드 등 다양한 대화형 AI 모델을 경험할 수 있다. 에이닷에서 지원하는 LLM 모델은 퍼플렉시티, A.X, 챗GPT 3.5 터보, 챗GPT 4o, 클로드 하이쿠, 클로드 오퍼스, 클로드 소네트 등이다. 사용자는 이용 목적에 따라 엔진을 선택해 답변을 받을 수 있고, 같은 질문에 대해 다른 모델로부터 답을 받아 비교할 수도 있다. 장점이 다른 각각의 LLM을 중복해 결제하거나 여러 서비스를 오가는 번거로움이 있었는데, 에이닷에서 한 번에 이용할 수 있게 된 것이다. 이용료 또한 당분간 무료로 제공하기로 했다. 특히 이번에 개인의 일상을 통합 관리할 수 있는 ‘데일리’ 기능도 선보인다. 기존 에이닷 내에 흩어져 있던 캘린더, 할 일, 루틴, 수면 등의 기능을 하나로 통합해 일상의 기록을 간편하게 관리할 수 있다. 일일이 입력해야 하는 번거로움 없이 비서에게 이야기하듯 에이닷에 알려주면 약속, 미팅, 할 일 등을 저장·관리할 수 있다. 이 밖에도 뮤직, 미디어, 증권, T멤버십 영화예매 등 각 영역별로 특화된 개인비서 서비스를 제공한다. SK텔레콤 김용훈 AI서비스사업부장은 “이번 에이닷 개편을 통해 고객들은 진짜 개인 비서와 소통하듯 더 편리하고 자연스러운 대화 경험을 누릴 수 있을 것”이라며 “지속적인 혁신을 통해 고객들의 시간을 절약하고, 편의성을 향상시켜주는 AI 서비스를 제공해 나가겠다”고 밝혔다.
https://www.khan.co.kr/economy/economy-general/article/202408261129001
제목: 와이즈넛, 인간처럼 사고하는 AI 시대 앞당긴다…'멀티모달 RAG' 개발 착수
요약: 와이즈넛은 과학기술정보통신부가 주관하는 정보통신방송기술개발사업 중 정보통신기획평가원이 추진하는 '멀티모달 데이터 입력 기반 검색증강생성 기술 개발'과제 주관사로 1차년도 연구에 착수했다.. 오는 2027년까지 4년에 걸쳐 진행되는 이번 연구는 실제 업무환경에서 융합대 활용되는 멀티모달 데이터를 기반으로 LLM의 구조적·성능적 한계로 제기되는 ▲최신화된 정보유지의 어려움 ▲할루시네이션 ▲도메인 정보 부족 ▲대규모 컴퓨팅자원소요 등의 한계를 극복하는 멀티모달 RAG 기술 개발을 목표로 한다. 멀티모달은 인간이 사물의 양상을 다양한 감각기관으로 받아들이는 것처럼 텍스트, 이미지, 음성, 비디오 등 다양한 형태의 데이터 채널(Modality)을 동시에 처리하는 것을 뜻한다. 이는 텍스트와 함께 소리 데이터를 융합하고 이를 분석해 소리의 크기나 성격을 더 정확하게 이해하거나, 동영상에서 얼굴 이미지를 인식하고 음성 대화를 텍스트로 변환해 자동자막을 생성하는 등 폭넓게 활용될 수 있는 만큼 새로운 대안으로 주목받는 기술이다. 와이즈넛은 이번 과제에서 멀티모달 데이터 수집 및 처리, 검색, 통합관리 기술 개발에 주력한다. 자체 보유하고 있는 LLM 기술 기반 RAG 기술을 적용해, 멀티모달 질의 이해 및 답변 생성기술부터 LLM의 성능을 높이기 위한 언어모델 최신화 기술, 효율적인 데이터 학습·관리를 위한 RAG 데이터 파이프라인 기술, 도메인 실증까지 전반의 기술 개발을 총괄 수행한다.
https://www.newsis.com/view/NISX20240829_0002867900
