Weekly news on LLM - 11월 둘째주
제목: 엔비디아 “차세대 블랙웰, LLM 훈련에서 H100 두 배 성능”
요약: 엔비디아의 ‘Blackwell’ 아키텍처 기반 차세대 GPU 'B200'이 기존 ‘H100’대비 LLM훈련에서 2배 높은 성능을 제공한 것으로 나타났다. B200은 내년 1분기부터 일반 판매 될 것으로 알려졌다. 엔비디아는 인공지능 성능 벤치마크인 MLPerf 훈련 테스트 결과, B200의 성능은 이전 세대 A100대비 12배 높은 것으로 나타났다고 밝혔다. 기존 ‘호퍼(Hopper)’ 아키텍처 기반 H100 GPU도 이전보다 30% 더 높은 새로운 결과가 나왔다. 엔비디아는 이번 결과를 지속적인 최적화를 통한 성능 극대화에 따른 것이라며 추론에서도 시스템 레벨의 최적화로 기존보다 상당한 성능 향상을 거뒀다고 밝혔다. 엔비디아는 ‘블랙웰’ 기반 시스템의 ‘풀스택 혁신’ 측면을 강조했다. 이는 AI 워크로드를 처리하는 GPU 뿐만 아니라 GPU와 GPU, CPU를 연결하는 5세대 NV링크, 시스템간 고속 연결을 구현하는 네트워킹 기술, GPU 기반 시스템에 최적화된 소프트웨어 지원 등을 모두 포함한다. 엔비디아는 이러한 ‘최적화 구성’을 규격화해 고객에 빠르게 슈퍼컴퓨터급 시스템을 전달할 수 있는 ‘슈퍼클러스터 스케일’ 기술도 제시했다. 엔비디아는 블랙웰 아키텍처 기반 GPU와 시스템에 대해 “이미 대량 생산 단계”로 언급했다. 2025년에는 ‘블랙웰 울트라’를, 2026년에는 차세대 ‘루빈(Rubin)’ 아키텍처로 이어지는 계획을 제시했다. ‘블랙웰 울트라’의 경우 지금의 ‘블랙웰’보다 더 큰 용량인 288기가바이트의 HBM3e 메모리와 더 높은 처리량을 제공할 계획이다. 네트워크에서는 커넥트X-8, 슈퍼NIC(Network interface card), 스펙트럼 울트라 X800 이더넷 플랫폼과의 조합을 소개했다. ‘루빈’에서는 8스택 구성의 HBM4 메모리가 탑재될 것으로 알려졌다. 플랫폼 차원에서는 차세대 아키텍처의 CPU, 6세대 NV링크, 커넥트X-9 슈퍼NIC, 스펙트럼 X1600 이더넷 플랫폼을 조합할 계획이다. 이후 ‘루빈 울트라’의 경우는 12스택 구성의 HBM4 메모리가 탑재될 것으로 알려졌다.
https://it.chosun.com/news/articleView.html?idxno=2023092127235
제목: SKT, AI 고객센터 운영…전용 LLM으로 상담 업무 효율화
요약: SK텔레콤이 자체 개발한 Telco LLM과 LMM을 활용한 고객센터 인공지능 상담 업무 지원 시스템을 가동했다. SKT는 지난 1년간 지식정보시스템을 AI 활용에 최적의 구조로 개편하고 다양한 통신 관련 데이터를 활용한 모델 튜닝을 진행했다. 연중 테스트와 피드백을 통한 강화 학습을 반복해 통신 서비스 전용 LLM, LMM 모델을 만들었다. 또 LLM이 질문에 가장 정확하고 구체적 답을 생성할 수 있도록 답변 생성에 필요한 정확한 정보만을 검색, 제공하는 RAG를 개발·적용 함으로써 LLM의 답변 신뢰도를 대폭 개선했다. 아울러 텍스트를 넘어 다양한 이미지를 이해할 수 있는 LMM도 활용해 통신 관련 다양한 서류 등 이미지를 학습시켜 통신업에 특화된 전용 LMM을 개발했다. 먼저 텔코LLM 기반 AI 지식 검색 도우미 서비스를 통해 상담사들이 필요한 정보를 빠르게 찾아 고객에게 안내할 수 있도록 지원한다. 이 서비스는 상담사들이 필요한 정보를 지식정보시스템에서 일일이 찾을 필요 없이 상담사가 자연어로 질문을 입력하면 AI가 상담사 대신 정보를 검색해 정리해 준다. 이를 통해 상담사들의 정보 탐색 시간을 단축시키고, 상담사 개인의 역량·경력과 무관하게 고품질 상담 서비스를 제공할 수 있게 됐다. 지난달 21일부터 상담 현장에 적용돼 안정화 단계를 거치고 있으며 내년부터는 모든 고객 상담 업무에 전면 적용할 예정이다. 아울러 에이닷 LMM을 활용한 AI 서류 자동처리 시스템도 구축한다. 다양한 형태의 각종 서류를 AI가 자동으로 분류하고 처리해 줌으로써, 증빙서류 확인에 소요되는 시간을 크게 단축시킬 수 있을 것으로 기대된다. 다음달에는 고객 상담 결과를 자동 분류·요약 정리하는 상담 후속 업무 자동화 시스템도 오픈할 예정이다. 평균 30초 정도 소요된 상담 후처리 시간이 대폭 단축돼 보다 빠르게 대기 중인 고객에게 상담을 제공할 수 있다. 개개인 맞춤형 상담도 가능하다.
https://www.etnews.com/20241118000067
제목: "다양한 지식 출처 찾아주는 'RAG 에이전트'가 게임 체인저될 것"
요약: 단일 지식 소스를 기반으로 검색을 실시하는 기존의 RAG를 넘어, 다양한 도구를 활용해 여러 지식 소스에서 정보를 추출하는 일명 'RAG 에이전트'가 대세가 될 것이라는 전망이 등장했다. 기본적인 RAG 파이프라인은 두가지 주요 요소인 'retriever'와 'generator'로 구성된다.
리트리버는 벡터 데이터베이스와 임베딩 모델을 사용해 사용자 질문을 분석하고, 인덱싱된 문서에서 가장 유사한 내용을 찾아낸다. 제너레이터는 검색된 데이터를 바탕으로 LLM을 사용해 관련 비즈니스 문맥을 반영한 답변을 생성한다. 기존 RAG는 하나의 소스에서 데이터를 가져오는 한계가 존재했는데, 이를 해결하는 방법 중 하나가 바로 AI 에이전트의 적용이다. AI 에이전트는 메모리와 추론 기능을 갖춘 LLM 기반의 AI 에이전트가 여러 단계의 작업을 계획하고, 다양한 외부 도구를 사용해 복잡한 작업을 수행하는 방식이다. RAG 파이프라인의 리트리버 구성 요소에 적용될 수 있으며, 이를 통해 웹 검색과, 계산기, 다양한 소프트웨어 API를 활용해 단일 지식 소스 이상의 정보를 검색할 수 있다. 사용자의 질문에 맞는 도구를 선택하고, 관련성 있는 정보가 있는지 확인하며, 필요시 재검색을 통해 정확한 정보를 추출한 뒤 제너레이터로 전달해 최종 답변을 생성한다. 이 방식은 LLM 애플리케이션의 지식 기반을 확장시켜 복잡한 질문에도 더 정확하고 검증된 응답을 제공한다. 예를 들어, 벡터 데이터베이스에 지원 내용이 저장된 경우, 사용자가 "오늘 가장 자주 제기된 문제는 무엇인가"라는 질문을 하면, RAG 에이전트는 웹 검색을 통해 오늘 날짜를 확인하고, 그 정보를 벡터 데이터베이스의 정보와 결합해 완전한 답변을 제공할 수 있다. 도구 사용이 가능한 AI 에이전트를 추가함으로써 검색 에이전트는 특정 지식 소스로 질문을 라우팅할 수 있고, 검색된 정보는 처리 전에 검증할 수 있는 계층을 추가할 수 있다. 이로 인해 RAG 에이전트 파이프라인은 정확한 응답을 제공할 수 있다.
https://www.aitimes.com/news/articleView.html?idxno=165325
제목: 오픈AI, AI 에이전트 '오퍼레이터' 내년 1월 출시
요약: 오픈AI가 인공지능 에이전트를 내년 1월 출시할 것으로 알려졌다. 블룸버그는 14일 내부 소식통을 인용, 오픈AI가 전날 내부 회의를 통해 AI 에이전트 출시 계획을 논의했다고 보도했다. 이에 따르면 '오퍼레이터’'라는 코드명을 가진 이번 프로젝트는 내년 1월 미리보기를 공개되며, 개발자를 위한 API를 통해 출시할 것으로 전해졌다. 또 3명의 제보자에 따르면 오픈AI는 다양한 형태의 에이전트를 개발해 왔으며, 그중 가장 완성도가 높은 것은 웹 브라우저에서 인간 대신 작업을 처리해 주는 도구인 것으로 알려졌다. 앞서 지난달 22일에는 디 인포메이션을 통해 오픈AI가 이미 에이전트 개발을 마쳤으며, 사내에서 데모까지 공개했다는 소식이 전해졌다. 이 에이전트는 시연을 통해 인터넷으로 배달 음식을 주문하는 작업을 선보였으며, 특히 코딩 능력을 갖춰 웹 사이트를 뒤져 문제 해결책을 찾았다는 후문이다. 이를 감안하면 오픈AI는 웹 작업과 코딩 등 용도별로 다양한 에이전트를 개발 중인 것으로 볼 수 있다. 그리고 1월에는 그중 일부를 선보일 것으로 보인다. 또 3명의 제보자에 따르면 오픈AI는 다양한 형태의 에이전트를 개발해 왔으며, 그중 가장 완성도가 높은 것은 웹 브라우저에서 인간 대신 작업을 처리해 주는 도구인 것으로 알려졌다. 앞서 지난달 22일에는 디 인포메이션을 통해 오픈AI가 이미 에이전트 개발을 마쳤으며, 사내에서 데모까지 공개했다는 소식이 전해졌다. 이 에이전트는 시연을 통해 인터넷으로 배달 음식을 주문하는 작업을 선보였으며, 특히 코딩 능력을 갖춰 웹 사이트를 뒤져 문제 해결책을 찾았다는 후문이다. 이를 감안하면 오픈AI는 웹 작업과 코딩 등 용도별로 다양한 에이전트를 개발 중인 것으로 볼 수 있다. 그리고 1월에는 그중 일부를 선보일 것으로 보인다. 실제로 올리비에 고드먼트 오픈AI 플랫폼 제품 책임자는 인터뷰를 통해 오픈AI가 AI 에이전트 개발을 진행 중이라고 인정하고, 성능 고도화를 위해 '추론'과 '도구사용' 능력 강화에 집중하고 있다고 밝혔다. 최근 출시한 리얼타임 API와 ChatGPT Search는 AI 에이전트 개발을 위한 필수 과정이었다고도 설명했다. 앤트로픽이 지난달 22일 '컴퓨터 유즈(computer use)'라는 AI 에이전트를 공개한 이후 관련 움직임이 빨라지고 있다. 구글은 지난 6일 실수로 크롬 브라우저에서 작동하는 웹 에이전트를 잠시 노출했다. 또 세일즈포스와 마이크로소프트는 CRM 작업 등에 특화된 에이전트를 지난 9월과 10월 각각 출시했다.
https://www.aitimes.com/news/articleView.html?idxno=165277
제목: 오픈AI, 저작권 고소한 NYT에 막대한 비용 청구..."챗GPT 검사하려면 사용료 내야"
요약: 오픈AI가 저작권 침해 혐의로 고소한 뉴욕타임스(NYT)가 피해를 증명할 증거를 찾기 위해 챗GPT를 사용하려면 막대한 비용을 내라고 청구한 것으로 알려졌다. 이로 인해 NYT는 소송 비용뿐만 아니라 모델 검사에 추가적인 비용 부담을 지게 됐다. NYT가 전문가를 고용해 오픈AI가 지정한 보안 장소에서 인터넷이나 다른 네트워크에 접근할 수 없는 환경에서 챗GPT 데이터를 확인할 수 있다는 내용이 포함됐다. 또 전문가가 API를 통해 챗GPT에 확인할 수 있는 쿼리 수를 소매가 기준 1만5000달러(약 2000만원) 상당의 크레딧으로 제한했다. 이 한도를 초과하면 NYT는 현재 사용자들에게 서비스 중인 소매가의 절반 가격을 낼 것을 요구했다. NYT의 활동은 오픈AI의 정상적인 상업 활동에 필요한 트래픽을 사용하는 만큼, 이에 상응하는 비용을 내야 한다는 논리다. 하지만 NYT는 오픈AI가 과도하고 구체적이지 않은 비용을 내세우며 침해 사실을 숨기려고 한다고 주장했다. 또 필요한 증거를 확보하려면 오픈AI가 제시한 금액의 50배가 넘는 약 80만달러(약 11억원) 상당의 크레딧이 필요하다고 밝혔다. 또 법원 제출 문서에서 "오픈AI는 실제 트래픽 운영에 들어가는 비용을 감추고, 일반 기업에 서비스로 청구하는 금액만 제시했다"라고 비난했다. 이에 대해 오픈AI는 초기 한도를 설정하는 것은 NYT의 무리한 요구를 방지하기 위한 필요 조치라고 해명했다. 오픈AI는 "NYT가 근거 없는 자의적이고 불필요한 검색을 오픈AI 모델에서 실행하려고 하며, 그 모든 비용을 오픈AI가 부담해야 한다고 요구한다"라고 받아쳤다
https://www.aitimes.com/news/articleView.html?idxno=165412
