LLM 할루시네이션 완화 전략 시리즈 (2/4)
RAG(Retreival-Augmented Generation)
1편에서 다룬 구체적인 프롬프팅은 즉각적이고 접근하기 쉬운 할루시네이션 완화 방법이었다. CoT(사고의 사슬) 프롬프팅, 명시적 지시, 사실 기반 프롬프팅 등의 기법을 통해 상당한 개선 효과를 얻을 수 있었다.
하지만 프롬프팅만으로는 극복할 수 없는 근본적인 한계도 있었다:
지식 단절(Knowledge Cutoff): 모델 훈련 이후의 정보는 알 수 없음
제한된 파라메트릭 메모리: 모델 내부에 저장된 지식의 한계
도메인별 전문 지식 부족: 특정 분야의 최신 정보나 세부 지식 부족
이러한 한계를 극복하기 위해 등장한 것이 바로 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다.
1편: 구체적인 프롬프팅
2편: 검색 증강 생성(RAG)
3편: 미세 조정(Fine-tuning)
4편: 고급 완화 기술들 종합
#RAG 란 무엇인가?
검색증강생성(RAG)은 사전 훈련된 LLM의 모델 내부에 저장된 지식(parametric 지식)와 외부 데이터베이스(non-parametric 지식)을 결합하는 혁신적인 프레임워크다.
RAG의 핵심 아이디어는 간단하지만 강력하다: LLM이 답변을 생성하기 전에 관련된 외부 정보를 먼저 검색해서 참고하도록 하는 것이다.
마치 사람이 어려운 질문을 받았을 때 책이나 인터넷을 찾아보고 답하는 것과 같은 원리다.
이를 통해 LLM의 응답을 검증 가능하고, 최신이며, 도메인별로 특화된 정보에 기반을 두도록 하여 할루시네이션을 크게 줄일 수 있다. 무엇보다 LLM의 광범위한 재훈련 없이도 새로운 데이터를 통합할 수 있다는 점이 RAG의 가장 큰 장점이다.
예를 들어, "2024년 한국의 최저임금은 얼마인가?"라는 질문을 받으면:
AI가 먼저 관련 문서를 검색한다 (고용노동부 발표자료, 뉴스 기사 등)
검색된 정보를 바탕으로 정확한 답변을 생성한다
출처까지 명시하여 신뢰성을 높인다
RAG의 3단계 작동 원리
RAG는 다음 세 가지 단계로 작동한다:
1단계: 검색(Retrieval)
사용자가 질문을 제출하면, 검색 시스템이 외부 데이터베이스에서 가장 관련성 높은 문서나 정보를 찾는다.
검색 대상 예시:
위키피디아 데이터베이스
기업 내부 문서
학술 논문 데이터베이스
뉴스 기사 아카이브
법률 판례 데이터베이스
의료 가이드라인
2단계: 증강(Augmentation)
검색된 정보를 원래 사용자 질의와 결합하여 풍부해진 질문을 만든다.
예시:
다음 정보를 참고하여 질문에 답해주세요:
[검색된 문서 1] 제목: 2024년 최저임금 고시 내용: 2024년 적용 최저임금은 시간당 9,860원으로 결정되었다. 이는 2023년 대비 2.5% 인상된 수준이다...
[검색된 문서 2] 제목: 최저임금위원회 의결 결과 내용: 최저임금위원회는 2023년 6월 29일 제12차 전원회의에서...
질문: 2024년 한국의 최저임금은 얼마인가?
3단계: 생성(Generation)
AI가 풍부해진 정보를 바탕으로 최종 답변을 생성한다. 이때 AI는:
검색된 외부 정보를 우선적으로 활용
내부 지식으로 보완
일관성 있고 자연스러운 답변 생성
최종 답변 예시:
2024년 한국의 최저임금은 시간당 9,860원입니다.
이는 2023년 9,620원 대비 2.5% 인상된 수준으로, 최저임금위원회가 2023년 6월 29일 의결한 결과입니다.
월급으로 환산할 경우 주 40시간 기준으로 약 206만 8,000원에 해당합니다. (출처: 고용노동부 최저임금 고시)
RAG의 고급 기능들
1. 실시간 정보 활용
최신 정보가 필요한 경우 실시간으로 데이터를 검색한다.
활용 사례:
뉴스: 최신 시사 정보
금융: 실시간 주가, 환율
날씨: 현재 기상 정보
소셜미디어: 트렌드 분석
2. 다단계 검색
복잡한 질문의 경우 여러 번에 걸쳐 정보를 수집한다.
예시: "애플의 CEO가 최근 발표한 AI 전략은?"
1차 검색: "애플 CEO" → 팀 쿡 확인
2차 검색: "팀 쿡 AI 전략 2024" → 최근 발언 수집
3차 검색: "애플 AI 제품 계획" → 구체적 전략 확인
3. 지식 그래프 활용
사실 관계를 구조화하여 더 정확한 정보를 제공한다.
예시:
삼성전자
├── 본사위치: 수원시
├── CEO: 이재용
├── 주력사업: 반도체, 스마트폰
└── 설립연도: 1969년
RAG의 실제 활용 사례
사례 1: 기업 내부 문서 검색
상황: 대형 건설회사에서 수많은 기술 문서, 안전 규정 중에서 필요한 정보를 찾는 시스템
질문 예시: "고층 건물 외벽 공사 시 안전 수칙은?"
RAG 시스템의 처리 과정:
안전 관련 문서들을 검색
고소작업 안전수칙, 외벽 공사 절차 등을 발견
종합적인 안전 지침 제공
결과:
고층 건물 외벽 공사 시 필수 안전 수칙:
1. 개인보호구 착용 - 안전모, 안전벨트, 작업화 필수 - 추락방지장치 설치 확인
2. 작업 전 점검사항 - 비계 상태 점검 - 기상 조건 확인 (풍속 10m/s 이상 시 작업 금지)
3. 응급상황 대응 - 현장 응급처치함 위치 확인 - 비상연락망 숙지
(출처: 고소작업 안전수칙 매뉴얼 2024년판)
사례 2: 의료 정보 시스템
상황: 의료진이 최신 치료 가이드라인과 연구 결과를 빠르게 참조
데이터 원천:
의학 논문 데이터베이스
식약처 승인 정보
의학회 가이드라인
임상시험 결과
특징: 정보의 신뢰성과 최신성을 특히 중요하게 고려
사례 3: 법률 검색 시스템
상황: 변호사들이 관련 판례와 법령을 검색
특징:
상급심 판결의 우선순위 부여
법령 개정 내용 자동 반영
인용 관계 추적
RAG의 강력한 장점들
1. 할루시네이션 대폭 감소
RAG는 AI의 거짓 정보 생성을 줄이는 가장 효과적인 방법이다.
2. 최신 정보 제공
AI의 가장 큰 약점인 지식 업데이트 문제를 해결한다.
예시 비교:
일반 AI: "2024년 서울시장은 누구인가?" → "죄송하지만 2024년 정보는 제공할 수 없습니다."
RAG 적용: "2024년 서울시장은 누구인가?" → "2024년 현재 서울시장은 오세훈입니다. 그는 2021년 재선되어 현재 임기를 수행 중입니다. (출처: 서울특별시 공식 홈페이지)"
3. 신뢰성과 투명성
답변의 근거를 명시적으로 제공하여 신뢰성을 크게 높인다.
신뢰성 향상 요소:
모든 정보의 출처 추적 가능
사용자가 직접 원본 문서 확인 가능
검색된 문서와 최종 답변의 연관성 명시
4. 비용 효율성
대규모 AI 모델을 다시 훈련하는 것보다 훨씬 경제적이다. (보통은 그렇다)
5. 빠른 적응성
변화하는 정보 환경에서 실시간 대응이 가능하다.
적응 사례:
주식 시장: 실시간 주가 정보 반영
뉴스: 속보 내용 즉시 활용
법률: 새로운 판례나 법령 변경 사항 반영
RAG의 한계와 도전 과제
1. 검색 품질 의존성
RAG의 효과는 검색되는 정보의 품질에 크게 좌우된다.
문제 상황 예시:
질문: "코로나19 백신의 부작용은?"
문제가 있는 검색 결과:
- 비과학적 블로그 글
- 편향된 의견 기사
- 오래된 잘못된 연구 결과: 부정확하거나 편향된 답변 생성
해결 방안:
신뢰할 수 있는 출처만 사용
여러 문서에서 일치하는 정보 우선 활용
전문가가 검토한 데이터베이스 구축
2. 속도 및 비용 문제
검색 과정으로 인한 추가 시간과 비용이 발생한다.
성능 이슈:
검색 시간: 0.1~1초 추가
컴퓨팅 자원: 추가 서버 필요
네트워크 지연: 외부 데이터 접근 시 지연
3. 보안 및 개인정보 문제
민감한 데이터 사용 시 새로운 보안 위험이 발생한다.
주요 위험:
악의적 질문을 통한 기밀 정보 유출
잘못된 정보의 의도적 삽입
사용자별 접근 권한 관리의 복잡성
4. 복잡한 추론의 한계
RAG는 단순한 정보 검색에는 강하지만, 복잡한 분석이 필요한 경우 한계가 있다.
한계 사례:
질문: "A회사와 B회사의 재무 상태를 비교하여 투자 추천을 해달라"
RAG의 어려움: 1. 두 회사의 정보를 각각 검색 (가능) 2. 검색된 정보를 종합적으로 분석 (도전적) 3. 투자 추천이라는 복합적 판단 (어려움)
마무리: 지식 활용의 새로운 전환점
RAG는 AI의 할루시네이션을 완화하는 가장 강력하고 실용적인 해결책으로 자리잡았다. 특히 최신 정보 활용, 전문 지식 접근, 답변 신뢰성 향상에서 탁월한 성과를 보여준다. 다만 RAG는 검색되는 정보의 품질에 크게 의존하며, 복잡한 분석이나 창의적 사고에는 여전히 한계가 있다. 또한 시스템 복잡도 증가로 인한 새로운 관리 과제들도 신중히 고려해야 한다.
가장 중요한 점은 RAG가 다른 AI 개선 기법들과 함께 사용될 때 최고의 효과를 발휘한다는 것이다. 1편의 정확한 프롬프팅과 결합하면 더욱 정밀한 검색과 답변이 가능하고, 다음 편에서 다룰 AI 모델 개선 기법과 함께 사용하면 전문 분야 성능을 극대화할 수 있습니다.
RAG는 단순한 기술 개선을 넘어서, AI가 지식을 다루는 방식의 근본적 변화를 의미한다. 고정된 지식에서 확장 가능하고 업데이트되는 지식 시스템으로의 전환은 AI의 실용성과 신뢰성을 한 차원 높이는 중요한 발전이라고 볼수있다.
다음 편 예고: 3편에서는 AI 모델 자체의 능력을 근본적으로 향상시키는 미세 조정(Fine-tuning) 전략을 살펴본다.
특히 AI가 과도한 확신을 갖지 않도록 하고, 특정 분야의 전문성을 높이는 방법을 실제 사례와 함께 알아볼 예정.
