50. AI서비스 활용법-2024-08
AWS 서밋
<1> 전통적인 ML 모델과 파운데이션 모델 차이는?
<2> 애플리케이션 레이어와 파운데이션 모델 레이어
<3> 모델 커스터마이징
<4> Amazon Q Developer , Bedrock, SageMaker Workshop
<1> 전통적인 ML 모델과 파운데이션 모델 차이는?
1
전통적인 ML 모델 수행은?
TASK 정의 하기 = 요약을 할지, 번역을 할지 준비
데이터 준비
레이블링
훈련
훈련 모델을 배포
특정 TASK에 맞춰 업무를
2
생성형 AI 는?
테라바이트를 미리 모델 훈련.
수십억개의 매개 변수를 보유 한다.
여러 TASK 를 한번에 수행 가능하다.
<2> 애플리케이션 레이어와 파운데이션 모델 레이어
1
애플리케이션 레이어?
예)
아마존 알렉사
chat gpt
2
모델
파운데이션 모델 레이어 ?
아마존 타이탄, 클로드 = 독점 모델 = API 를 통해 접근
스테이블 디퓨전과 같은 오픈 소스 파운데이션 모델 = 자체 호스팅, 관리 ----- 아마존 세이즈 메이커 /점프스타트 등을 통해 접근, 허깅페이스등 허브를 통해 접근
<3> 모델 커스터마이징
1
프롬프트
잘 입력하면 모델로 부터 정확한 답변 준다.
2
파인 튜닝 ?
추가로 프리 트레이닝 한다.
모델 자체를 변경한다.
3
RAG ?
모델 자체는 유지한다.
외부 데이터 소스로 보강한다.
4
ai 코드 도움이
5
아마존 베드락.
서버리스 서비스
사용하지 않으면 비용이 나가지 않는다.
사용법1
콘솔 - 플레이 그라운드에서 사용한다.
사용법2
파운데이션 모델을 커스터마이징 해본다.
외부 데이터 소스를 연결해 RAG 사용.
오케스트레이션을 사용 = 에이전트 사용
6
접근 방식 순서 ?
문서가 있다.
벡터로 변환 해야 한다.
임베딩 모델이 필요. 임베딩 모델은 사이즈 용량이 있다.
따라서 문서를 나눠줘야 한다. 정킹
벡터 데이터 베이스에 저장
벡터들 ~
1024차원의 데이터를 벡터 데이터 베이스에 저장.
랭체인은 베드락과 벡터데이터 베이스사이에서 오케스트레이션을 한다.
벡터 데이터베이스에서 질의를 한다. = 검색.
베드락에 검색하면 증강이 된다.
세이즈 메이커 노트북에서 확인한다.
7
동작은 ?
플레이 그라운드에서 확인한다.
8
동작 설명?
원하는 데이터가 있는 문서가 있다.
청킹을 했다.
타이탄 모델을 사용헤 벡터를 만들었다.
1024 차원의 벡터를 벡터 데이터베이스(파인콘)에 저장을 했다.
랭체인 사용
랭체인을 이용해 응답을 받아 보자.
<4> Amazon Q Developer , Bedrock, SageMaker Workshop
1
Developer Experience - Amazon Q Developer - Deep Dive
https://catalog.workshops.aws/devexp-qbuilder/en-US
2
Amazon Bedrock Workshop
https://catalog.us-east-1.prod.workshops.aws/workshops/a4bdb007-5600-4368-81c5-ff5b4154f518/en-US
3
Generative AI on Amazon SageMaker - Workshop
https://catalog.us-east-1.prod.workshops.aws/workshops/972fd252-36e5-4eed-8608-743e84957f8e/en-US
AWS 기술자료 - 돌아가기
https://brunch.co.kr/@topasvga/4007
감사합니다.
