92. 생성형 AI의 성공적 구축을 위한 데이터 전략
<1> 생성형 AI의 성공적 구축을 위한 데이터 전략
<2> 서비스 전반에서 벡터 검색 지원
<1> 생성형 AI의 성공적 구축을 위한 데이터 전략
1
생성형 AI ?
텍스트, 이미지, 동영상을 생성해 준다.
생성 기능이 산업을 변화 시킨다.
2
명확한 데이터 및 인프라 전략이 중요하다!!!
데이터가 차별화 요소이다.
모든 기업이 동일한 파운데이션 모델을 사용.
차별화 = 기업이 보유한 데이터를 잘 활용할수 있어야 한다.
파운데이션 모델을 기반으로 검색증강이나 파인튜닝을 한다.
3
성공 구축 ??
4
기존 파운데이션 모델 사용?
자체 파운데이션 모델 사용?
디폴트로는 기존 파운데이션 모델을 사용하자.
범용 지식등이 뛰어나다.
사용자 케이스에 따라 모델을 선택하자.
5
커스터 마이징 작업???
검색 증강 생성 - 쉬운 방법. 사용자가 요청한 프롬프트에 프롬프트를 보강 요청하는 방식. 모델은 유지.
파인튜닝 (미세 조정) - 모델이 변경 된다.
지속적인 사전 훈련 - 더 특화된 컨텐츠 사용.
5
검색 증강 생성 - 쉬운 방법. 사용자가 요청한 프롬프트에 프롬 프트를 보강하여 요청하는 방식. 모델은 유지.
6
시뮬레이션 ~~~~~
보험 상품 추천!!!
챗봇에 대화를 시도.
7
데이터 흐름?
RAG 패턴 사용
입력, 프롬프트에서 키워드 추출
기업내 데이터 저장소에서 인사이트 추출
지식기반의 컨텍스트로 프롬프트 증강 (증강된 상태)
답변을 하게됨.
참고
문서, 텍스트 , 이미지 등 다양한 데이터는 미리 임베딩을 해서 벡터 데이터 스토어에 저장되었다가 사용됨.
8
벡터 임베딩 ?
데이터의 의미과 관계를 나타내기 위해, 데이터를 숫자로 표현한것이다.
순서?
소스에서 데이터 수집
청크 (토큰화)
벡터로 전환
벡터 스토어에 저장.
검색하면 검색이 프롬프트 증강에 사용된다.
<2> 서비스 전반에서 벡터 검색 지원
1
벡터 검색 지원하는 데이터 베이스와 연결해서 사용가능한 데이터 베이스
오픈서치?
오픈서치 서비스 와 오픈서치 서버리스 서비스 2가지 제공한다.
2
관계형 데이터 베이스
비 관계형 데이터 베이스
3
파인튜닝 (미세 조정)
사전 훈련된 모델의 미세 조정
여러 데이터 유형을 S3에 저장한다.
미세 조정 모델일 만들수 있다.
레이블된 예제를 통한 특정 작업에 특화된 지식
모델이 변경 된다.
4
파운데이션 모델 커스터마이징 ???
프롬프트 엔지니어링
RAG
미세조정
새롭게 훈련
5
자체 모델 처음부터 새롭게 훈련 - 복잡한 방법
지속적인 사전 훈련 - 더 특화된 컨텐츠 사용. 비용과 노력이 많이 든다.
6
AWS에서 도와 주는 서비스?
여러 모델을 사용 가능하도록 함.
8단계 과정을 에이전트로 가능하도록 해줌.
7
RAG를 손쉽게 사용할수 있도록 해준다.
8
베드락용 벡터베이스 제공 5가지 - 2024년 6월 현재
오픈서치 서버리스
레디스 엔터프라이즈
Pinecone
오로라의 포스트그래
몽고디비
9
참고 자료
1
Amazon Bedrock Workshop
2
Building with Amazon Bedrock(Korean)
https://catalog.workshops.aws/building-with-amazon-bedrock-langchain/ko-KR
3
Using generative AI on AWS for diverse content types
https://catalog.workshops.aws/genai-on-aws/en-US
다음
https://brunch.co.kr/@topasvga/4132
