최근 금융 산업을 비롯한 여러 분야에서 RAG기반 LLM 서비스 제공업체들이 생겨나고 있다. 이들 업체는 자사의 데이터를 바탕으로 맞춤형 언어 모델 기반의 정보 검색 및 데이터 분석 서비스를 제공한다는 점에서 긍정적으로 평가될 수 있다.특히 금융, 의료, 법률과 같이 방대한 데이터와 정교한 분석이 요구되는 산업에서는 기업 고유의 데이터를 활용하여 특화된 RAG 서비스를 제공할 수 있는 잠재력이 높다.
그러나 이러한 서비스 제공업체들이 계속적인 성공을 보장받기 어려운 점도 존재하고 있다. 우선, LLM RAG 서비스의 진입 장벽이 낮다는 점이 눈에 뛴다. 언어 모델(LM) 기술이 빠르게 대중화되고, AI와 머신러닝의 개발 환경이 꾸준히 향상되면서 전문 개발자가 아닌 일반적인 기업이나 팀도 해당 기술을 자체적으로 도입하기가 수월해졌다. 특히 오픈 소스 모델과 상용 API가 제공되면서 LLM과 RAG의 통합 작업이 점점 더 쉬워지고 있다.
많은 기업이 점차적으로 RAG와 LLM을 내부적으로 개발하거나, 단순히 데이터만 제공해주면 이를 서비스 형태로 제공하는 기술 솔루션이 늘어나고 있기 때문이다. 이는 향후 1~2년 내에 현재의 RAG 서비스 업체들이 입지를 잃고 사라질 가능성이 높다고 생각된다. LLM RAG 서비스 제공업체들이 지속적으로 경쟁력을 유지하려면 단순히 언어 모델을 결합한 서비스 이상의 부가 가치를 제공할 수 있어야 한다. 실시간 분석 기능을 넘어선 무엇인가가 필요해 보이며, 신뢰성과 정확성 보장을 강화하는 등 특정 산업군의 특수한 요구사항을 반영하여 차별화된 서비스(예. 고급 RAG 등)를 제공하는 것이 필요하다고 생각된다.
