RAG 기반 챗봇 지식베이스 구축
AI 에이전틱 워크플로우 활용
2025년 11월, AX Pro 프로젝트가 한참 진행 중일 때 작성된 케이스스터디 내용입니다.
배경 및 도전 과제
최근 기업들은 단순한 챗봇을 넘어 고객에게 첨단 이미지를 제고하면서도 친밀하게 다가갈 수 있는 새로운 고객 경험을 요구하고 있습니다. 이러한 트렌드에 맞춰 AI 아바타를 활용한 다양한 솔루션이 등장하고 있습니다. IT 컨설팅 관점에서는 아바타의 시각적 품질도 중요하지만, 무엇보다 챗봇이 정확하고 신뢰할 수 있는 답변을 제공하는 것이 핵심 과제입니다.
Challenge : RAG(Retrieval-Augmented Generation) 시스템을 위한 고품질 지식베이스 구축
RAG와 LLM을 기술적으로 구현하는 것은 상대적으로 용이합니다. 그러나 실제 프로젝트에서 가장 어려운 부분은:
RAG를 위한 양질의 지식 데이터 준비
개발된 챗봇의 철저한 테스트
고객의 세부 요구사항에 맞춘 최적화 작업
이러한 과정은 시간과 인력이 많이 소요되는 작업입니다.
Solution: AI 에이전틱 워크플로우를 활용한 Q&A 쌍 생성
이 문제를 해결하기 위해 TecAce의 Q&A Generator 툴을 활용한 혁신적인 접근법을 도입했습니다. 이 도구는 AI 에이전틱 워크플로우를 기반으로 하여 질문과 답변 쌍을 자동으로 생성하고, AI 감독(Supervision)을 통해 품질을 평가 및 개선합니다.
지식 소스 처리 프로세스1. 다양한 형식의 지식 소스 통합
텍스트, PDF, Excel, 이미지 등 다양한 형태의 문서 처리
문서 구조 분석을 통한 의미 기반 청킹(Semantic Chunking) 적용
2. AI 에이전틱 Q&A 생성 시스템
사용자 목표(Goal)에 맞춘 문서 분석
다양한 복잡도와 깊이의 질문 자동 생성
단순 사실 기반 질문부터 복잡한 시나리오 및 엣지 케이스까지 포괄
사용자가 질문의 수량, 복잡도, 유형을 선택적으로 조정 가능
AI Supervision 내 AI 에이전틱 Q&A 생성 시스템3. 정확한 답변 생성 및 최적화
생성된 질문에 대한 정확하고 구체적인 답변 검색 및 생성
평가 Agent를 통하여 정량적인 수치로 질문과 답변을 평가한 후, 합격하지 못하였을 경우, 피드백과 함께 새롭게 생성하도록 하는 워크플로우
고객이 원하는 톤과 스타일에 맞춘 답변 조정
AI Supervision 내 정확한 답변 생성 및 최적화 기능AI 감독 기반 품질 관리
TecAce AI Supervision의 정량적 평가 메트릭스를 활용하여 생성된 Q&A 쌍의 품질을 엄격하게 관리했습니다.
설정된 기준값에 미달하는 Q&A 쌍은 자동으로 재생성 워크플로우에 투입되며, 실패 원인과 함께 개선 방향이 제시되어 다시 검색/생성이 이루어집니다.
구현 결과
본 프로젝트에서는 약 50페이지 분량의 문서를 처리하여 약 2,000개의 고품질 질의응답 쌍을 자동화 프로세스를 통하여 생성했습니다. 이를 통해 다음과 같은 성과를 달성했습니다:
1. 정확도 대폭 향상
기존 방식(문서를 직접 RAG에 투입) 대비 테스트 정답률 50% 이상 향상
사람의 최종 검토는 여전히 필요하나, 초기 작업 부담 크게 감소
2. 효율적인 지식베이스 구축
구조화된 Q&A 쌍을 통한 Vector DB 최적화
문서 전처리 작업 시간 약 70% 단축 – 테스팅시간, 문서검토시간 단축
3. 맞춤형 응답 생성
Fine-tuning 없이도 원하는 톤과 스타일의 응답 생성 가능
고객 브랜드 아이덴티티에 부합하는 일관된 응답 제공
장점 및 한계점
장점
정형화된 응답 제공: 고객 서비스 영역에서 일관된 품질의 응답 제공 가능
지식베이스 관리 용이성: 구조화된 형태로 정보가 저장되어 업데이트 및 관리 효율적
문맥 이해 향상: 문단 단위 청킹보다 의미 기반 Q&A 쌍이 문맥 이해도 향상
사용자 경험 개선: 간결하고 명확한 답변으로 사용자 만족도 증가
한계점 및 대응 방안
1. 지식베이스의 편향성
문제: Q&A 쌍 생성 과정에서 원본 데이터의 편향이 그대로 반영될 위험
대응: AI Supervision을 통한 편향성 테스트 및 다양한 관점의 질문 자동 생성
2. 데이터 품질과 환각 현상
문제: 불완전하거나 노이즈가 많은 데이터는 Q&A 쌍의 품질을 저하시킬 수 있음
대응: 다단계 검증 프로세스 적용 및 Answer Correctness, Answer Relevance, Hallucination 등의 메트릭스를 통한 지속적 품질 모니터링
결론 및 향후 방향
AI 에이전틱 워크플로우를 활용한 Q&A 쌍 기반 RAG 지식베이스 구축은 챗봇의 정확성과 신뢰성을 크게 향상시킵니다. 특히 정형화된 응답이 중요한 고객 서비스 영역에서 질적으로나 속도면에서 효과적인 솔루션임이 입증되었습니다.