AWS 48탄-5.생성형 AI, 벡터 데이터 베이스
AWS Innovate AI/ML and Data Edition, 트랙2
파운데이션 모델을 이용한다.
개발시 도전과제와 정확도등을 높이는 법을 알아보자.
<1> 생성형 AI 학습 활용 서비스 개발시 도전 과제
<2> 정확도를 높이는 법
<3> 비용 대비 효과성이 높은 RAG 생성 순서 알아보자.
<4> 아마존 오픈서치 벡터 엔진 외
<5> 베드락 지원 벡터 데이터 베이스
<1> 생성형 AI 학습 활용 서비스 개발시 도전 과제
학습 데이터에 의존적
기한이 지난 정보
부정확한 사실을 제공하는 환각 증상
컨텍스트 이해 및 추론 부족
<2> 정확도를 높이는 법
1
컨텍스트 기반 프롬프트 엔지니어링.
사용자 질의에 대한 맥락 정보를 프롬프트에 추가 제공하여 개선
2
검색 증강 생성 RAG 사용
사용자의 질의와 유사한 정보를 자사의 지식 베이스에서 검색하여 통합 제공
비용 대비 효과성이 높다!!!
3
사전 훈련된 파운데이션 모델을 자사의 데이터로 '파인 튜닝' 하는것
4
자체 파운데이션 모델 훈련을 하는것
가장 정확.
희소한 모델 비용, 많은 GPU , 오랜 시간이 걸린다.
<3> 비용 대비 효과성이 높은 RAG 생성 순서 알아보자.
데이터 베이스 확보 필요.
1
2
검색 증각 생성 (RAG) - 동작
3
RAG의 지식 베이스 구축 프로세스 ?
원시 데이터 > 벡터 임베딩 생성 > 데이터 적재 > 데이터 활용 순으로 진행된다.
4
RAG 개발 생산성의 향상하기 위해 벡터 데이터 베이스를 사용하자~~
데이터 베이스 확보 필요.
5
용어 알아보기
벡터 ?
크기와 방향을 가진 물리량.
n* 1
임베딩 ?
단어,문장,문서,이미지 등의 데이터를 모델의 인코더를 활용하여, 컴퓨터가 이해할 수 있는 형태의 벡터로 변환하는 과정 또는 변환된 벡터
다차원 벡터 공간을 형성한다.
대규모 벡터 검색을 ANN기반 인덱싱 알고리즘.
인덱싱한다!!
<4> 아마존 오픈서치 벡터 엔진
1
강력한 키워드 검색이 가능하다.
지식베이스 품질을 고도화 할수 있다.
K-NN 플러그인 벡터 엔진 제공
2
벡터 검색 지원 디비 ?
Amazon MemoryDB for Redis 벡터 검색(Preview)
Amazon DocumentDB (MongoDB 호환) 벡터 검색
Amazon Neptune Analytics 벡터 검색
<5> 베드락 지원 벡터 데이터 베이스
다음 AI
https://brunch.co.kr/@topasvga/3737
감사합니다.
