Weekly news on LLM - 10월 넷째주
제목: “LLM으론 빅테크와 경쟁 못해”…美팔란티어 뒤쫓는 마키나락스
요약: 산업 특화 AI 회사 마키나락스의 윤성호 대표는 24일 서울 JW 메리어트 호텔에서 열린 ‘ATTENTION 2024’ 기자간담회에서 이같이 밝혔다. 팔란티어는 2003년 설립된 미국의 빅데이터 프로세싱 기업으로 CIA와 FBI를 고객으로 둔 방산 AI기업이다. 팔란티어의 AI 기반 데이터 마이닝 시스템은 방대한 정보 속에서 핵심 연결고리를 찾아내 테러리스트 색출에 기여했고, 올해 S&P 500에 편입됐다. 마키나락스는 최근 기업 부문으로 사업 영역을 확장하고 있는 팔란티어와 유사한 비즈니스 모델을 갖추고 있다. 마키나락스는 2023년 ‘세계 100대 AI 기업’ 제조 분야에 유일하게 이름을 올렸고, 네이버, 산업은행, 삼성, 현대, 한화 등으로부터 총 340억 원의 투자를 유치했다. 세계경제포럼에서 선정한 ‘글로벌 이노베이터’ 및 ‘기술 선도 기업’으로, AI 자율제조 얼라이언스와 국방 특화 AI 플랫폼 제공을 위한 ‘방산혁신기업 100’에도 선정됐다. 한국과 미국 실리콘밸리에 120명의 직원을 둔 마키나락스는 스타트업으로서 빅테크와 LLM으로 직접 경쟁하는 것이 어렵다고 판단하고 있다. 윤 대표는 “LLM으로 빅테크와 경쟁하기보다는 LLM, 데이터 검색기(리트리버), 데이터베이스, 외부 도구 등을 통합해 AI 작업을 효과적으로 처리하는 시스템이 앞으로 더 중요해질 것”이라고 말했다. 그는 “기업 현장에서 AI를 도입하려면 LLM 모델이 작동하는 AI 소프트웨어를 잘 개발하는 것이 더 중요하다”며 “팔란티어가 10년 동안 빅데이터 확보에 많은 노력을 기울인 것처럼 저희도 AI 소프트웨어에 막대한 투자를 하고 있다”고 강조했다. 마키나락스는 2017년 딥러닝 기반 AI 회사로 출발해 연구개발, 생산, 공급망 관리, 유통, 물류 등의 물리적 세계에 AI를 적용하는 데 주력하고 있다. 이는 MS 코파일럿과 같은 사무 보조 AI와는 다른 시장이다. 윤성호 대표는 “챗봇이나 번역 같은 사무 보조 AI보다 기업의 물리적 세계에 적용되는 AI 시장이 훨씬 크다”며 마키나락스가 산업용 데이터를 활용한 경험에서 경쟁사보다 우위를 점하고 있다고 강조했다. 실제로 마키나락스는 PCB 설계 해석, 철강 기업의 소각로 운용, 타이어 제조사의 패턴 생성 등 다양한 산업 현장에 AI를 적용해왔다. 이를 통해 신제품 개발 기간을 최대 50% 단축하고, 철강 생산 공정에서 에너지 사용량을 2% 효율화하는 성과를 거뒀다. 그는 고객 주문서 표준화 시간을 60% 단축하고, 식품 유통 가격 예측을 통해 점포별 매장 이익을 3% 증가시킨 사례도 소개했다.
https://www.edaily.co.kr/News/Read?newsId=03742486639056200&mediaCodeNo=257&OutLnkChk=Y
제목: 퍼플렉시티, AI 웹 검색에 내부 문서 검색 통합..."기업용 RAG로 서비스 확장"
요약: 퍼플렉시티가 인터넷 정보를 넘어 기업 내부 정보까지 검색할 수 있는 서비스를 내놓았다. RAG 기능을 추가, 본격적인 기업용 서비스로 확장하려는 시도다. 퍼플렉시티는 Internal Knowledge Search' 및 Spaces이라는 서비스를 출시한다고 발표했다. 우선 Internal Knowledge Search는 웹에서 작업 공간까지 모든 것을 검색하는 기능이다. 퍼플렉시티는 이미 파일 업로드 기능을 제공했지만, 사용자들로부터 웹과 내부 파일을 동시에 검색할 수 있는 기능 요청을 가장 많이 받음에 따라 이를 도입했다고 밝혔다. 이날부터 일부 엔터프라이즈 프로 사용자를 대상으로 오픈했다. 이 기능을 통해 금융 회사는 내부 조사, 통화 노트, 최신 업계 뉴스를 활용해 철저한 실사가 가능하며, 영업 및 사업 개발 팀은 기존 자료에 웹에서 얻은 최신 데이터를 통합하는 등 이점을 얻을 수 있다고 소개했다. 현재는 파일 업로드 제한이 500개로 설정됐으나, 향후 확장될 것이라고 전했다. 문서는 엑셀, 워드, PDF 등 자주 활용하는 문서 형식 대부분을 지원한다. 퍼플렉시티 Space는 AI 기반 연구 및 협업 허브다. 연구를 수행하는 프로젝트 팀이나 제안서를 만드는 영업 팀, 학습 가이드를 작성하는 학생 팀 등의 멤버가 함께 작업할 수 있는 공간을 제공한다. Space 설정 후에는 동료나 친구 등 공동 작업자를 초대하고 내부 파일을 연결해 원하는 AI 모델을 선택한 다음 응답 방법에 대한 특정 지침을 설정해 맞춤형 AI 비서를 만들 수 있다. 이는 프로젝트와 파일에 접근할 수 있는 인원을 구체적으로 지정, 보안까지 강화한다. 여기에서 작성한 내용이 AI 모델 학습에 활용되지 않도록 옵션을 설정할 수도 있다.
https://www.aitimes.com/news/articleView.html?idxno=164414
제목: "MLOps 도입, 국내기업 대부분 가장 낮은 1단계"
요약: 안재민 대표는 "베슬AI는 MLOps만 집중하는 이 분야 국내 리딩기업"이라고 운을 떼며 MLOps의 국방분야 도입 방향성과 어려운 점, 해결책을 제시했다. 2020년 4월 설립한 이 회사는 2021년 3월 머신러닝 모델 학습 및 재현 플랫폼 'SavviHub'를 선보였다. 이어 같은해 5월에는 현재의 베슬AI로 사명을 바꿨다. 코딩, 모델 학습, 최적화, 배포와 자동화 파이프라인까지 엔드 투 엔드 MLOps구현을 위한 플랫폼을 개발, 공급하고 있다. KAIST, 연세대, 서울대 등 주요 대학 AI대학원이 베슬AI 플랫폼을 활용하고 있다. 기업은 현대자동차, SKTmap, 코그넥스등이 도입했다. 안 대표는 이제는 AI를 어떻게 비즈니스에 적용할 지를 고민해야 한다면서 "MLOps는 재현 가능하고 자동화한 머신러닝으로 AI 연구와 개발을 위한 프로세스와 방법론"이라고 해석했다. 국방에서 MLOps가 필요한 이유로 "외부 API 사용이 불가능한 보안 환경때문"이라면서 "자체 데이터와 자체 모델 구축시 MLOps가 필요하다"고 진단했다. 또 계속되는 업데이트와 인적 자원 및 연산 자원의 효율적인 활용으로 비용 절감에도 MLOps가 기여한다고 해석했다. MLOps 도입을 평가하는 성숙도 5단계도 소개했다. 가장 낮은 레벨 1은 모든 것을 손으로 하는 단계로 담당자가 퇴사하면 재현할 수가 없다. 안 대표는 "국내 기업은 대부분 레벨1에 해당한다"고 말했다. 레벨2는 실험 데이터, 코드, 스크립트, 하이퍼 파라미터 등을 재현할 수 있고 관리할 수 있는 수준이다. 이때부터 기록의 중요성을 인식한다. 레벨3(ML 파이프라인)은 코드와 데이터 업데이트를 모델에 자동 반영하는 파이프라인을 보유한 단계다. 또 레벨4(Monitored ML Pipeline)는 실제 서비스중인 모델의 지표 변화를 추적하고 재학습할 수 있는 단계고, 가장 높은 레벨5(Fully Automated CI/CD Pipeline)는 자동화한 파이프라인을 머신러닝(ML) 조직 니즈에 따라 자유롭게 추가, 수정, 삭제할 수 있는 자동화한 CI와 CD 시스템이 있는 단계다. CI는 지속적 통합(Continuous Integration)을, CD는 지속적 제공과 배포(Continuous Delivery/Deployment)을 말한다. 안 대표는 "한번에 가장 높은 단계로 갈 수 없다. 단계를 밟아가며 성숙도를 높여가야 한다"고 조언했다. 특히 그는 MLOps의 국방 연구분야 도입에 대해 "국방은 어려운 점이 더 많다"면서 "높은 보안과 효율적 연구업무 환경이라는 두마리 토끼를 잡아야 한다"고 말했다. MLOps의 국방 연구 분야 도입 난점으로는 민간 클라우드 서비스 불가 등을 들었다. 또 프로세스 표준화와 연구원의 자유도를 적절히 분배해야 한다면서 "연구자들에게 최대한의 유연성과 자유도를 보장하면서 동시에 재현가능한 연구 프로세스로 신뢰성과 지속성도 확보해야 한다"고 밝혔다. 각 분야별 너무나 다양한 제품과 기술이 있다면서 "검증한 기술, 혹은 호환 가능한 표준 인터페이스 채택 필요성이 있다"면서 "민간 분야의 해결 사례를 참고해 도입 과정에서 난점을 단계적으로 해결해야 한다"고 해법을 제시했다. 제너럴 AI시스템을 만들기 위한 필요 조건 두 가지도 제시했다. "수백개 AI모델을 자동으로 운영하는 인프라와 여러 AI모델과 데이터를 통한 의사결정 프로세스가 필요하다. 그런데 이 두개가 결국 MLOps다"고 짚었다.
https://zdnet.co.kr/view/?no=20241024220744
제목: "오픈AI, AI 에이전트 이미 개발...내부 시연도 진행"
요약: 오픈AI가 인간 대신 컴퓨터를 사용하며 작업을 처리할 수 있는 'AI 에이전트'를 이미 개발하고 내부 시연까지 진행한 것으로 알려졌다. 특히 소프트웨어 프로그래밍 작업을 할 수 있는 코딩 에이전트는 내부에서 이미 활용 중이다. 이 소식은 앤트로픽의 AI 에이전트 공개 직후 등장했다. AI 에이전트는 인터넷으로 배달 음식을 주문하는 작업을 선보였다. 또 코딩 중 문제가 생기자, 웹 사이트를 뒤져 해결책을 찾았다. 이는 앤트로픽이 22일 공개한 AI 에이전트와 비슷한 성격으로, 특히 프로그래밍이 추가됐다. 앤트로픽의 에이전트는 프로그래밍 능력이 강조되지 않았다. 오픈AI의 코딩 에이전트는 이미 내부에서 활용 중으로 알려졌다. '챗GPT'가 앤트로픽의 '클로드'에 비해 코딩 능력이 뒤처진다고 판단, 지난 몇개월간 이 분야에 노력을 집중한 결과로 알려졌다. 그 결과 코드 생성 에이전트를 개발했으며, 이는 AI 연구자들이 더 빠르게 작업할 수 있도록 돕는 내부 연구 지원 도구에 포함됐다. 오픈AI 직원은 이 제품이 내부적으로 인기가 있지만, 공개적으로 출시할지 여부는 불분명하다고 전했다.
https://www.aitimes.com/news/articleView.html?idxno=164586
제목: 세계 최대 출판사, 종이책에 AI 데이터 학습 거부 최초 표시
요약: 세계 최대 규모의 출판사 중 한곳이 종이책에 AI 학습 사용을 거부한다는 문구를 추가한다. 온라인에서는 스크래핑을 금지한다는 내용이 일반화됐지만, 종이책에 이런 내용이 추가되는 것은 처음이다. 북셀러는 펭귄 랜덤 하우스가 모든 출판물에 대한 저작권 문구를 수정할 것이라고 보도했다. 이에 따라 앞으로 출판할 새 책과 재인쇄할 책의 표준 저작권 페이지에는 "이 책의 어떤 부분도 AI 기술이나 시스템을 훈련하는 목적으로 어떤 방식으로든 사용하거나 복제할 수 없다"라고 명시된다. 또 EU의 법률에 따라 "텍스트 및 데이터 마이닝 예외에서 이 작품을 명시적으로 보류한다"라고 언급했다. 즉, 작품을 AI 학습에 사용하지 말라는 뜻이다. 펭귄 랜덤 하우스는 내년 설립 100주년을 맞는 세계 최대의 단행본 출판사다. 종이책 저작권 페이지에 AI 항목을 추가한 최초의 대형 출판사로 여겨지고 있다. 하지만 이 문구는 실제 저작권 문제와는 관계가 없다. 온라인 스크래핑을 반대하는 robots.txt와 비슷한 경고로, 법적 효력을 따지는 것이 아닌 AI 회사의 자발적인 금지 촉구라는 설명이다. 하지만 오픈AI나 앤트로픽 등은 robots.txt도 무시하고 스크래핑을 진행 중이다. 또 저작권 보호는 저작권 페이지가 책에 포함되든 말든 존재하며, 권리자가 반대하더라도 공정 사용을 위해 허락되는 경우도 있다. 이에 앞서 펭귄 랜덤 하우스는 지난 8월 "저자와 아티스트의 지적 재산을 강력히 방어할 것"이라며 "목표를 달성할 수 있는 명확한 사례가 있는 경우 생성 AI 도구를 선택적이고 책임감 있게 사용할 것"이라고 밝힌 바 있다. 따라서 향후 AI 기업과 협상의 여지를 남겨 뒀다. 실제로 올해 들어 테일러 & 프랜시스, 윌리, 옥스포드대학교, 케임브리지대학교 등 학술 출판사가 AI 회사와 콘텐츠 라이선스 파트너십을 발표했다.
https://www.aitimes.com/news/articleView.html?idxno=164444
