기업 RAG 도입, 단일 벡터의 한계를 넘어서는 전략
RAG 확산과 기업의 기대
최근 기업들이 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술을 빠르게 실무에 도입하고 있습니다.
RAG는 질문을 입력하면 먼저 외부 지식베이스(사내 문서, 매뉴얼, 규정, 데이터베이스 등)에서 관련 문서를 검색한 뒤, 대규모 언어모델(LLM)이 답변을 생성하는 구조입니다.
이 방식은 LLM의 한계인 지식 최신성 부족과 환각(Hallucination) 문제를 보완하고, 도메인 특화 정보를 기반으로 더 정확한 답변을 제공할 수 있습니다. 실제로 글로벌 조사에 따르면 대기업의 절반 이상이 이미 지식관리, 고객지원, 규제 대응, 신규 서비스 기획 등 다양한 분야에서 RAG 파일럿을 운영 중입니다. 특히 금융, 제조, 건설, 법률과 같이 문서 기반 의사결정이 중요한 산업에서 채택률이 높습니다.
구글 딥마인드 논문이 던진 메시지
최근 발표된 구글 딥마인드의 논문
“On the Theoretical Limitations of Embedding-Based Retrieval” (2025)
은 RAG 실무 적용에 중요한 시사점을 줍니다.
연구진은 단일 벡터 임베딩 기반 검색이 구조적으로 복잡한 질의에 대응할 수 없음을 이론적으로 증명했습니다.
예를 들어,
“누가 사과를 좋아하는가?”
“누가 캔디를 좋아하는가?”
“누가 사과와 캔디를 동시에 좋아하는가?”
처럼 단순해 보이는 복합 질의조차 단일 벡터 검색은 제대로 처리하지 못했습니다. Recall@100 성능은 20% 미만으로 떨어졌습니다.
산업 현장에서 나타나는 문제
이 문제는 건설관리 분야 같은 복잡한 속성 조합 검색에서 특히 뚜렷하게 드러납니다.
예를 들어,
“2023년 이후 준공된 건축도면 중 친환경 인증을 받았고, 구조 안전성 심사 기준을 충족한 프로젝트 목록을 검색하라”
라는 질의를 생각해봅시다.
여기에는 도면, 속성, 규정, 시점이 모두 결합되어 있습니다. 논문에서 보여준 바와 같이 단일 벡터 기반 검색만으로는 이런 복합 조건을 충분히 포착하기 어렵고, 결국 실무 응답 품질 저하가 발생할 수 있습니다.
단일 벡터의 대안: 세 가지 접근
논문은 단일 벡터 방식의 한계를 밝히는 동시에, 이를 보완할 수 있는 방법들을 제안합니다.
Cross-Encoder
문서와 질의를 함께 입력받아 정밀하게 관련성을 평가
LIMIT 데이터셋에서 모든 질의를 100% 해결
단점: 연산 비용이 커서 대규모 문서 검색에는 어려움 → 보통 후처리용 reranker로 활용
Multi-vector 모델
문서를 하나의 벡터가 아닌 여러 벡터로 표현
세밀한 조건 포착 가능, 단일 벡터보다 성능 우수
단점: 실제 기업 환경의 복잡한 추론/규정 기반 질의 대응 효과는 아직 연구 필요
Sparse 모델 (BM25, 신경망 기반 희소 표현 등)
사실상 초고차원 벡터를 활용 → 조합 한계 극복
복잡한 조건에서도 안정적인 검색 성능
단점: 단순 키워드 매칭이 없는 추론/문맥 이해 상황에서는 성능 제한
이 세 가지는 서로 다른 방식으로 단일 벡터의 약점을 보완하며, 기업 RAG 아키텍처 설계 시 중요한 대안이 됩니다.
기업이 취해야 할 전략적 접근
결국 핵심은 기술 선택 이전에 AI 도입 전략을 수립하는 것입니다.
비즈니스 문제 정의
예) “고객 상담원이 규제 문서를 신속히 찾아 상담 시간을 30% 단축한다”
→ 단일 벡터 기반 RAG도 충분히 검토 가능
성과 목표 설정
예) “설계도면에서 규제 위반 가능성을 자동 검출한다”
→ 단일 벡터만으로는 부족, 하이브리드 검색 필요
솔루션 아키텍처 설계
키워드 기반(BM25) + 임베딩 기반 검색의 결합
multi-vector / late interaction 방식의 도입
cross-encoder reranker로 최종 정렬
결론: RAG는 전략의 문제다
기업은 RAG를 단순히 “LLM에 검색 기능을 덧붙인 제품” 정도로 보아서는 안 됩니다.
비즈니스 문제 정의 → 성과 목표 설정 → 아키텍처 설계 라는 단계적 접근이 필요합니다.
그리고 데이터 구조가 복잡해질수록, 구글 딥마인드 논문이 지적한 한계를 감안하여 하이브리드 검색 기반 아키텍처를 채택하는 것이 기업 성과 달성의 핵심 전략이 될 것입니다.
