Weekly news on LLM - 9월 첫째주
제목: 데이터베이스와 LLM 지식 통합하는 '테이블 증강 생성' 기술 등장
요약: 데이터베이스와 LLM의 추론 기능을 결합, 의미적 추론이나 데이터 소스에서 직접 얻을 수 있는 것 이상의 지식을 요구하는 자연어 쿼리를 처리하도록 하는 새로운 접근 방식이 나왔다. LLM 한계를 넘기 위해 웹 데이터를 찾는 RAG에 이어, 데이터베이스를 직접 연결하는 이번 기술에는 '테이블 증강 생성(TAG)'이라는 이름이 붙었다. 사용자가 자연어 질문을 하면, 텍스트-SQL이나 RAG이라는 두가지 접근 방식을 주로 사용한다. 그러나 두 방식 모두 의미적 추론이나 데이터 소스에서 직접 얻을 수 있는 것 이상의 지식을 요구하는 자연어 쿼리 처리에는 어려움을 겪는 것으로 나타났다. 복잡한 쿼리에 대응하는 효과적인 시스템을 만들기 위해서는 단순 조회나 관계 연산을 넘어, 데이터베이스의 계산적 정밀성과 언어 모델의 추론 능력을 결합해야 한다는 설명이다. TAG는 ▲사용자 질문을 실행 가능한 데이터베이스 쿼리로 변환하는 '쿼리 합성(Query Synthesis)' 과정 ▲이 쿼리를 실행해 관련 데이터를 검색하는 '쿼리 실행(Query Execution)' 과정 ▲그리고 이 데이터와 쿼리를 사용해 자연어 답변을 생성하는 '답변 생성(Answer Generation)' 과정으로 구성된다. 이를 통해 특정 쿼리에 제한되는 텍스트-SQL이나 RAG와 달리, TAG는 더 넓은 범위의 쿼리를 처리할 수 있다. 이 접근 방식을 통해 언어 모델의 추론 능력이 쿼리 합성 및 답변 생성 단계 모두에 통합되며, 데이터베이스 시스템의 쿼리 실행은 집계, 수학 계산, 필터링 등 계산 작업을 처리하는 데 있어 RAG의 비효율성을 해결한다. 시스템은 의미적 추론, 세계 지식, 도메인 지식을 모두 요구하는 복잡한 질문에 답할 수 있게 된다. 예를 들어, "고전으로 여겨지는 최고 수익을 올린 로맨스 영화의 리뷰 요약"이라는 질문에 답할 수 있다. 이 질문은 전통적인 텍스트-SQL나 RAG 시스템에게는 어려운 과제다. 데이터베이스에서 최고 수익을 올린 로맨스 영화를 찾아야 할 뿐만 아니라, 세계 지식을 활용해 해당 영화가 '고전'인지도 판단해야 하기 때문이다. 하지만 TAG의 3단계 접근 방식을 통하면, 시스템은 관련 영화 데이터를 위한 쿼리를 생성하고, 필터와 언어 모델을 사용해 수익 순으로 정렬된 고전 로맨스 영화 테이블을 생성한 뒤 테이블에서 가장 높은 순위의 영화에 대한 리뷰를 요약해 원하는 답변을 제공한다.
https://www.aitimes.com/news/articleView.html?idxno=163162
제목: GPT-4 토큰 가격 18개월 동안 240배 하락..."GPT-5 성공 못 하면 사용료 0으로 떨어질 것"
요약: 'GPT-4'의 토큰당 사용료가 1년 반 만에 240배 하락했다는 분석이 나왔다. 이는 많은 모델이 챗GPT 성능을 따라잡는 등 치열한 경쟁의 결과로, 새로 등장하는 'GPT-5'가 압도적인 성능을 보여주지 못하면 무료 경쟁이 불가피하다는 예측이다. GPT-4는 지난해 3월 출시 당시 100만 토큰당 비용이 180달러(약 24만원) 정도였다. 그러나 'GPT-4 터보'가 등장한 11월에는 50달러(약 6만7000원)로 크게 인하됐다. 이 모델은 오픈AI가 기업 시장 확대를 위해 마음먹고 출시한 것으로, 빠른 속도와 저렴한 비용이 특징이다. 이후 반년 뒤에 등장한 'GPT-4o'를 통해 비용은 10달러(약 1만3400원) 선까지 내려왔다. 특히 지난달 출시한 'GPT-4o 미니'는 100만 토큰 당 가격이 0.75달러(약 1000원)에 불과하다. 이 모델은 기존 유일하게 미세조정이 지원됐던 'GPT-3.5' 터보를 대신하는 기업용 맞춤형 모델이다. 결국 GPT-4는 출시 18개월 동안 100만 토큰당 비용이 180달러에서 75센트로 하락, 240배나 저렴해졌다. 이는 최근 출시된 프론티어급 모델의 성능이 GPT-4를 거의 따라붙으며 경쟁이 치열해진 탓이다. 특히 오픈소스, 즉 무료인 메타의 '라마 3.1'의 영향이 가장 크다. 또 이런 현상은 이미 100여개가 넘는 고만고만한 모델이 경쟁 중인 중국에서도 드러났다. 현재 중국의 주요 모델은 사용료가 무료에 가깝다. AI 스타트업 버셀의 기에르모 라우크 CEO는 "GPT-4는 출시 당시 독보적이었지만, 이제는 모두가 그 정도 모델을 가지고 있다"라고 밝혔다. 또 "이런 현상을 부채질한 것은 마크 저커버그 메타 CEO로, 오픈 소스 노력이 성공한 것"이라고 덧붙였다. 저커버그 CEO도 최근 블로그를 통해 무료 정책이 성공할 것이라는 뜻을 밝혔다. "AI 경쟁이 매우 치열해질 것"이라며 "모델을 오픈 소스로 공개해도 바로 다음에 나올 모델에 비해 큰 장점을 가지기는 어려울 것"이라고 밝혔다. 즉, 무료로 모델을 공개해도 우위를 지속하기는 어려울 정도로, 저렴하고 성능이 뛰어난 모델이 많이 등장할 것이라는 말이다.
https://www.aitimes.com/news/articleView.html?idxno=163053
제목: 사용량 대신 '성과'로 과금하는 AI 요금제 등장...저가 경쟁 대세 될까
요약: 인공지능(AI) 챗봇 사용량에 따라 요금을 부과하는 대신, 작업을 완료한 경우에만 요금을 부과하는 새로운 과금 방식이 등장했다. 기업이 AI에 대한 비용 부담을 줄이려고 노력하는 가운데, 이런 방식이 AI 소프트웨어 가격 경쟁의 주요 트렌드로 자리잡을지 주목된다.AI 소프트웨어 업체 젠데스크가 '성과 기반 과금(outcome-based pricing)' 방식을 선보였다고 보도했다. 젠데스크는 사용자당 AI 해결 건수를 책정하는 방식으로 사용 기반 모델과 성과 기반 모델을 결합했다. 즉, 얼마나 자주 사용하는지에 따라 기업에 요금을 청구하는 대신, 직원 개입 없이 챗봇이 자동으로 작업을 완료한 경우에만 요금을 받는다. 젠데스크 외에도 인터콤과 포어소트도 AI 기능이 자동으로 잘 작동했을 때에만 요금을 청구하고 있다. 인터콤은 해결 건당 99센트(약 1300원)를 청구하며, 포어소트는 사용자가 일정 수의 AI 해결 건수를 미리 구매하도록 했다. 하지만, 성과 기반 과금제는 아직 초기 단계로, 어떤 결과가 나올지는 미지수라는 지적도 있다. 서비스 제공 업체로서는 수익 예측이 불가능하다는 것이 큰 약점이다. 특히, AI가 의도한 대로 작동하지 않을 때는 문제가 커진다. 또 AI 해결의 가치에 특정한 가격을 매기는 것 자체가 어렵다는 의견도 나왔다. 같은 사용자라도, 심지어 동일한 회사의 부서 간에도 AI 해결에서 얻는 가치에 대해 생각하는 바가 다를 것이라는 설명이다. 한편, 100개가 넘는 AI 모델이 시장에 나온 중국에서는 이미 올해 초부터 AI 가격 경쟁이 벌어지고 있다.지난 5월에는 알리바바가 AI 서비스 가격을 최대 97% 인하했으며, 바이두는 이에 맞서 무료 서비스를 내놓았다. 중국 1위 챗봇인 바이트댄스의 '두바오'도 가격을 대폭 낮췄다.
https://www.aitimes.com/news/articleView.html?idxno=163186
제목: 유아이패스 "LLM 결합한 RPA로 쉽고 빠른 기업혁신 지원”
요약: 유아이패스가 LLM을 로봇프로세스자동화(RPA)에 적용해 보다 쉽고 빠르게 기업의 혁신을 돕는다. 먼저 공개한 닥패스와 컴패스는 6월 국내 서비스를 시작한 자동화 서비스로 LLM을 적용한 것이 특징이다. 닥패스는 세금 계산, 인보이스, 구매 주문서, 재무제표 등 다양한 유형의 문서를 처리 작업에 특화됐다. 업무 자동화 과정에서 문서 처리의 신뢰성과 속도를 향상할 수 있도록 지원한다. 컴패스는 이메일, 메시지 등 비즈니스 커뮤케이션 과정에서 정확하고 효율적인 정보 처리에 특화된 서비스다. 기업 내 다양한 커뮤니케이션 채널에서 발생하는 대량의 데이터를 분석하고, 핵심적인 내용을 도출하거나 이상을 감지해 운영 효율성을 개선하고, 기업의 의사 결정 과정을 돕는다. 컨택스트 그라운딩은 기업 내 데이터나 내부 정책 및 절차와 같은 데이터 소스를 AI에 학습시킬 뿐 아니라 색인화하고 검색할 수 있도록 정제해 AI를 비롯해 다양한 환경에서 데이터 환경에서 활용할 수 있도록 제공한다. 또한 생성형 AI 액티비티는 유아이패스 AI 트러스트 레이어를 활용하며, 자동화 워크플로우에서 고품질의 AI 예측에 쉽게 액세스하고 이를 개발하여 활용함으로써 가치 창출 시간을 단축할 수 있다.
https://zdnet.co.kr/view/?no=20240906123921
제목: 라마 3.1 출시 후 2달 만에 주요 클라우드 수요 2배 이상 증가
요약: 메타에서 서비스하는 대규모 언어모델(LLM) '라마(Llama)'의 인기가 급격하게 상승 중이다. 관련 업계에서는 메타의 오픈소스 전략이 점차 성공적으로 자리 잡고 있다는 분석이다. 라마의 다운로드 수는 3억5천만 건으로 전년 대비 10배 이상 늘어난 수치다. 라마의 인기는 꾸준한 상승세로 지난달에만 AI 오픈소스 커뮤니티인 허깅페이스를 통해 2천만 건 이상 다운로드를 기록했다. AI 커뮤니티 외에도 AT&T, 도어대시, 골드만삭스, 나이언틱, 스포티파이, 인포시스, KPMG 등 기업 파트너를 통해 서비스되는 사례를 포함하는 규모는 더욱 확대된다. 특히 최신 고성능 AI모델인 라마 3.1가 시리즈의 인기를 견인한 것으로 나타났다. 라마 3.1이 출시된 5월 이후 7월까지 2개월 만에 주요 클라우드 서비스 공급업체 파트너의 토큰 볼륨별 호스팅 사용량이 2배 이상 증가한 것으로 확인됐다. 메타는 급증하는 AI수요에 대응하기 위해 아마존웹서비스, 마이크로소프트, 구글 클라우드를 비롯해 데이터브릭스, 델, 엔비디아, IBM 왓슨, 스케일AI, 스노우플레이크 기업들과 협업하여 사용자를 지원하고 있다. 라마 3.1은 이전 모델보다 더 긴 128K 컨텍스트 길이를 지원한다. 이를 통해 더 복잡하고 세부적인 대화나 문서를 처리하고, 높은 정확도의 답변을 제공한다. 또한 라마3.1 405B, 라마3.1 8B, 라마 3.1 70B 3개 모델로 공개됐으며 이중 가장 높은 성능을 보유한 라마3.1 405B의 인기가 가장 높은 것으로 나타났다.
https://zdnet.co.kr/view/?no=20240830101054
