AWS 47탄-12.AI/ML, 생성형 AI 24-1월
AWS RE:INVENT
생성형 AI 3개 계층을 알아보자.
세이즈 메이커 추가 기능을 알아보자.
<1> 생성형 AI 스택 (AI)
<2> Amazone SageMaker에 추가된 기능 (AI)
<1> 생성형 AI 스택
1
인프라 계층?
파운데이션 모델을 직접 트레이닝이나 파인 튜닝을 해서 만드는 계층.
오픈 소스 등으로 공개된 파운데이션 모델을 배포해서 추론 용도로 활용할 때 사용되는 서비스들이다.
예)
엔비디아의 GPU 기반 인스턴스
AWS 칩 (Trainum과 추론을 위한 Inferentia칩)
AWS 칩 (Trainum과 추론을 위한 Inferentia칩)은 쿠다를 지원하지 않아서, Neuron sdk를 통해 모델을 컴파일해서 사용한다.
SageMaker 머신러닝 워크로드와 관련된 대부분의 기능을 제공한다.
SageMaker의 Managed training서비스 활용하여 모델 학습 과정을 비교적 편리하게 사용가능하다.
2
도구 레밸
Amazone Bedrock?
여러 파운데이션 모델을 API호출하는 형태로 쉽게 사용을 할 수가 있다.
3
애플리케이션 레밸
Amazone Q?
사용자가 파운데이션 모델들에 대한 지식 없이도 비즈니스 챗봇을 만들 수 있는 Q나 개발 생산성을 높여 줄 수 있는 CodeWhisperer 애플리케이션이 있다.
비교적 쉽게 LLM (Large Language Mode) 기반 챗봇을 만들 수 있는 서비스가 바로 Amazon Q
Q의 핵심 기능은 데이터 소스를 지정하면 챗봇이 만들어진다.
데이터 소스는 S3 , RDS , 다양한 부분 지원. 웹 크롤링 데이터도 가능하다.
출처와 같은 정보도 나와 결과에 대해 비교 가능.
40개 이상의 엔터프라이즈 애플리케이션을 선택하거나 web crawling을 통해 data source를 손쉽게 연결.
할루시네이션을 완화하고자 래그(RAG , Retrieval Augmented Aeneration) 방식을 활용하고 있다.
4
Amazone Bedrock 은 여러가지 파운데이션 모델을 지원한다.
지원하는 파운데이션 모델은?
amazone 회사 = Amazon Titan
AI21 labs 회사= Jurassic-2
ANTHROP\C 회사= Claude & Claude Instant
cohere 회사= Command and embed
Meta 회사 = Liama 2
stability.ai 회사 = Stable Diffusion XL = 이미지.
아마존 타이탄도 여러 모델일 지원한다.
이미지 생성도 해보자.
ANTHROP\C = Claude 2.1?
안트로피의 클라데 모델 2.1
한국어 지원.
최근 3 출시
5
베드락 사용은?
AWS 베드락 > 사용하는 모델에 대해 지원 신청을 해서 사용하면 된다.
플레이 그라운드 기능을 제공한다.
실제 개발 시는 API호출로 한다.
여러 모델을 테스트해 보고 가장 적합한 모델을 선택한다.
https://brunch.co.kr/@topasvga/3727
6
베드락이 LLM을 단순 API만 제공하는 건 아니다.
파인 튜닝도 지원한다.
Fine-tuning?
특정한 테스크를 더 잘 되도록 하는 기능이다.
새롭게 튜닝된 모델을 활용하는 것이다.
레이블이 지정된 예제.
Fine-tuning and Pre-training? 제공
AMAZON TITAN 모델을 커스터마이징 하기.
7
Continued Pre-training (preview)
특정 테스트보다 , 특정 도메인에 대한 모델 정확도 유지 시 사용한다.
예를 들어 의료분야처럼 해당 도메인에 관한 것을 모아서 사용한다.
데이터 필요? 많은 수의 레이블이 없는 데이터 시트가 필요하다.
8
배드락에서 파인튜닝 지원하는 모델은?
ANTHROP\C (예정)
cohere
meta
amazon
9
추가된 베드락 기능 = Knowledge base? (KB기능)
관리형 RAG 솔루션.
Knowledge base for Amazon Bedrock?
검색 증강 생성(RAG)을 위한 완전 관리형 네이티브 지원.
텍스트 문서를 임베딩으로 자동 변환하기.
벡터 데이터베이스에 임베딩 저장.
임베딩 검색 및 프롬프트 보강.
순서?
S3에 데이터를 저장하고 이것을 데이터 소스로 지정한다.
해당 텍스트에 대한 임베딩 값을 뽑아서 벡터 디비에 인덱싱 한다.
검색을 통해 결과를 얻는다.
10
베드락을 위한 Vector Databases?
RAG를 위해 관리형으로 지원되는 VECTOR DB들.
오픈서치 서버리스 벡터 디비를 추천함 = 서버리스라 사용한 만큼 요금이 발생한다.
11
챗봇 서비스를 만든다고 하면 KB로만으로는 만들기 어렵다.
KB를 기반으로 정보를 가져오고 사용자 요청에 대한 액션, 전체적인 대화 내용도 필요하다.
여행의 경우 장소, 관광지 정보 필요하다.
대화를 통해서 멀티 턴으로 필요하다
그래서 베드락에도 에이전트 기능이 있다.
베드락 사용을 위한 Agents가 필요하다.
엑션 기능이 있다 = 람다를 사용해 정보를 가져온다. 등
KB를 데이터 소스로 사용할 수 있다. 연관 높은 데이터를 사용할수 있다.
세션 관리, 모니터링, 암호화 권한 관리가 가능하다.
AWS콘솔 > 베드락 > 에이전트 에서 만든다.
12
배드락 Evaluation 기능 = 평가 기능
FM을 평가하여 유스케이스에 가장 적합한 FM을 선택하세요.
자동 또는 수동 평가 방법 선택.
13
Guardrails for Amazon Bedrock? = 가드레일 기능
예상하지 못했던 데이터 처리, 예상치 못한 결과, 전처리나 후처리가 필요하다.
특정 토픽에 대해 답변을 하지 않거나 한다.
서비스를 만들 때 리스크를 줄여 준다.
현재 몇 개 리전만 지원한다.
애플리케이션 요구 사항과 책임 있는 AI정책에 맞는 보호 조치를 구현하세요.
미세 조정된 모델 및 에이전트를 포함하여 FM전체에 가드레일을 일관되게 적용합니다.
개인 식별 정보( PII) 수정 (예정)
<2> Amazone SageMaker에 추가된 기능
기존 세이즈 메이커 스튜디오는 Classic으로 변경됨.
1
Amazon SageMaker Studio? 새로 생김
이번에 인스턴스 타입을 설정하고 space를 만드는 형태로 변경됨.
2
VS code(OSS) 기본 지원 추가 = VS Code에서 SageMaker Studio 사용 가능!!!
3
Amazon SageMaker Canvas?
코드 없이 시각적 인터페이스를 사용하여 ML 모델 구축.
FM에 대한 Customization 및 파인 튜닝 기능지원.
Customize FM 기반 RAG지원함.
로그아웃 하지 않아 비용이 많이 발생하는 단점해결을 위해 유휴 지표에 기반한 캔버스 인스턴스 자동종료 기능.
Data Wrangler 통합되어 데이터 탐색.
4
RAG in SageMaker Canvas?
자신의 데이터로 LLM을 활용.
PDF 등으로 데이터를 올려 처리 가능함.
모델 응답의 관련성 및 정확성 향상.
문서 저장소로의 Kendra의 기본 지원.
5
Fine-tune foundation models?
No-CODE로 LLM을 FINE-TUNNING.
Customize를 위한 FMs 선택.
모델 평가.
모델 리더보드를 통해 비교가능.
배포 및 비교.
6
Amazone SageMaker 업데이트된 것들?
END-to-END ML 개발블을 위한 단일 웹 기반 인터페이스.
SageMaker HyperPod 기능추가 됨. = 대규모 분산 훈련을 위해 특별히 구축된 인프라.
최대 40% 훈련 시간 단축.
신규 LLM inference container 추가(TensorRT-LLM) 및 개선 ( DeepSpeed)
7
SageMaker HyperPod?
대규모 학습을 좀 더 쉽게 할 수 있는 기능이다.
쉽게 분산 학습 클러스터를 구성해 준다.
장애 인스턴스는 자동으로 바꿔주는 Self-healing cluster로 학습시간 단축.
다음 AI
https://brunch.co.kr/@topasvga/3704
다음
https://brunch.co.kr/@topasvga/3718
감사합니다.
