29.RAG사용 애플리케이션 품질 높이기-2024
<1> 파운데이션 모델 커스터 마이징
<2> 검색 증강 생성 (RAG)?
<3> Amazon Bedrock 지식저장소? 완전 관리형 데이터 통합 워크 플로
<4> 고급 RAG
<1> 파운데이션 모델 커스터마이징
1
커스터마이징 필요 이유?
1) 도메인 특화 - 의학 용어 이해하고 응답 제공
2) 특정 작업을 위한 것 - 금융 , 재무와 회계 용어 습득하여 분석 보고서 제공
3) 응답의 문맥 인식 - 고객 문의와 불만에 대한 대응 향상
2
파운데이션 모델(FM) 커스터마이징 방법 4가지
1) 프롬프트엔지니어링 - 저비용
2) 검색 증강 생성(RAG) - DB 필요. 파운데이션 모델(FM)변경 되지 않음.
3) 파인튜닝 - 파운데이션 모델(FM)변경 됨.
4) 처음부터 학습 (파운데이션 모델 생성) - 고비용 , 고품질, 비용, 시간 투자
3
커스터마이질 방법 4가지중 선택법?
일반적인 정보, 예전 정보 --- 간단한 일반 정보----- 프롬프트 엔지니어링
일반적인 정보, 예전 정보 --- 복잡하거나 특정 데이터--- 파인튜닝
특정 데이터, 실시간 정보---- 정적인으로 변화하지 않는 정보 --- RAG 로 구현
특정 데이터, 실시간 정보---- 실시간 변화정보 --- 에이전트와 도구 사용
<2> 검색 증강 생성 (RAG)?
1
검색?
사용자 쿼리로 외부 지식저장소 또는 데이터 저장소에서 콘텐츠를 조회하는 것이다.
2
증강?
검색된 정보를 사용자 프롬프트에 추가하여 파운데이션 모델의 입력 값으로 사용한다.
3
생성?
증강된 프롬프트에 기반한 질문을 파운데이터 모델이 응답을 한다.
4
RAG는 답이 있는 문서와 유저 질문을 파운데이션 모델을 통해 답을 얻는 것이다.
아마존 베드락은 여러 파운데이션 모델을 모아 놓은 플랫폼이다.
5
임베딩(embedding)이란?
단어 간의 의미 관계를 숫자(벡터)로 표현.
임베딩을 사용하여 텍스트의 유사성을 비교한다.
실제 텍스트------- 임베딩 모델 ---------- 벡터 임베딩 된다.
6
타이탄 텍스트 임베딩 모델?
Amazon Titan 텍스트 임베딩 V2.0
텍스트 입력(단어,문장)을 유의미한 벡터(임베딩)로 변환한다.
최대 토큰수 : 8,000
Output Vectors : 1,536
언어 : 다국어 (25개 이상의 언어)
7
RAG 동작?
데이터 소스 부분과 사용자 입력 부분 2가지를 보자.
8
데이터 소스 프로세스 ?
문서를 잘게 나눈다.
청크 -> 인베딩 모델을 거쳐 벡터로 변환하여 컴퓨터가 이해하도록 한다.
9
사용자 입력 프로세스?
사용자 질문을 임베딩 한다. 컴퓨터가 이해하는 벡터로 전환하는 과정이다.
검색으로 벡터 스토어에서 확인
벡터 스토어에 검색한 내용과 사용자 질문을 합쳐 프롬프트 증강이 된다.
프롬프트 증강 내용을 대규모 언어 모델 (LLM)에 질의 하여 응답 받는다.
10
RAG의 어려움?
여러 데이터 소스
대용량 데이터의 백터 임베딩
코딩 작업
<3> Amazon Bedrock 지식저장소? 완전 관리형 데이터 통합 워크 플로
1
RAG 워크 플로에 대한 완전 관리형 지원.
FM과 에이전트를 데이터 소스에 안전하게 연결.
관련 데이터를 손쉽게 검색
소스 저작권 표시.
2
<4> 고급 RAG
1
3
고급RAG 조합
4
데모
지식저장소 데모
감사합니다.
