AI 11탄-22. OpenSearch,RAG,AI검색
아마존 오픈서치 서비스를 이용하여 RAG를 구축해보자.
아미존은 오픈서치를 이용하는 방법을 추천하고 있다.
검색 성능을 향상 시키는 방법.
벡터 스토어에 대해 알아보자.
이후, 자연어 질의에 대해 알아보자.
<1> RAG가 무엇인가?
<2> 적용 사례
<3> 데모 - Amazon OpenSearch 와 Bedrock을 활용하여 데이터 셀프 서비스(Text2SQL) 구축
<1> RAG가 무엇인가?
1
검색, 증강, 생성.
RAG는 파운데이션 모델이 가지고 있지 않은 정보에 대해 외부 데이터를 활용해서 응답을 잘 주는 것이다.
사전에 학습된 파운데이션 모델은 사내 지식을 알수 없다.
사내 지식을 벡터화 해서 사용자 질의에 가장 가까운 답변을 주도록 한다.
2
오픈서치 서비스?
대량의 데이터를 검색,분석,통합 해주는 서비스이다.
벡터 스토어를 활용할수 있다.
별도의 설치나 운영이 필요없는 관리형 서비스 이다.
아마존 오픈서치 서비스 제공함.
아마존 오픈서치 서버리스 서비스 제공함.
3
키워드 ---- 검색 엔진에 전달된다.
벡터 기능 없는 검색엔진은 검색 키워드와 문서 용어의 매칭 검색만을 지원한다.
검색의 품질?
사용자가 만족해야 한다.
오픈서치 ?
jSON---------- 인덱스로 전송 (테이블) --------- 인덱스는 샤드 구조로 저장.
4
벡터 엔진 개념????
벡터 = 숫자
모델 = 함수
대형 언어모델 = 함수
임베딩 = 벡터화
엔진/알고리즘 = 벡토화 엔진과 알고리즘
<2> 적용 사례
1
아마존 뮤직
1억명의 사용자에게 매일 맞춤형 음악 트랙을 제공한다.
오픈서치를 활용하여 벡터 디비를 사용한다.
2
매일 80억건에 대해 사기 탐지 한다.
99% 발견한다.
<3> 데모 - Amazon OpenSearch 와 Bedrock을 활용하여 데이터 셀프 서비스(Text2SQL) 구축
1
오픈 서치와 베드락을 사용하는사례
일반적인 업무 처리 VS 오픈서치 RAG와 베드락 사용하기
5
RAG 구성 하자.
1) 사용자는 질문은 아마존 베드락에 한다.
2) 아마존 베드락은 RAG에 정보를 제공 받는다.
3) 아래 Claude에게 대답을 받는다.
4) 아테나를 통해 데이터를 조회하고, 데이터를 리턴하거나 인사이트를 만들어 제공 받는다.
데모 !!!
다음은 실습
https://brunch.co.kr/@topasvga/3873
