AWS 48탄-8. 파운데이션 모델의 파인 튜닝
파인튜닝이 언제 필요한지 알아보자.
Amazon Bedrock에서 파인튜닝 하는 방법을 알아보자.
<1> 생성형 AI Application 구현 방법 4가지
<2> LLM 파인 튜닝이 필요한 경우
<3> 실습 Amazon Bedrock 파인튜닝
<4> SageMaker jumpStart : UI에 의한 파인튜닝도 가능하다.
<5> 한글 Re-Ranker 파인 튜닝
<1> 생성형 AI Application 구현 방법 4가지
프롬프트 엔지니어링
검색 증강 생성
모델 파인 튜닝
베이스 모델 훈련
X축 : 복잡도 증가, 비용 증가
T 축: 문맥 배우기 증가
<2> LLM 파인 튜닝이 필요한 경우
1
특정 작업이나 기본 모델의 성능이 만족스럽지 않은 경우, 일반적으로 스몰 모델의 경우
2
기본 모델에서 제공하지 않는 의학, 법률 등 새로운 도메인, 새로운 언어가 필요한 경우, 한국에 지원이 필요한 경우 등
3
새로운 데이터 업데이트가 필요한 경우
4
대형모델의 경우는 기본 성능이 좋아 파인튜닝이 불필요할 수도 있습니다.
<3> AWS에서 파인 튜닝 하는 경우
1
2개의 영역에서 파인 튜닝을 할 수 있도록 도구를 제공한다.
Amazon Bedrock의 Customization capabilities과 SageMaker에서 파인튜닝 도구를 제공한다.
2
AWS 파인 튜닝 서비스 5가지
설명
Amazon Bedrock의 파인튜닝 지원은? Meta Llama2 , Cohere Command , Amazon Titan
SageMaker Training 이 Alignment Tuning 지원
3
아마존 베드락 파인튜닝 방법 2가지
파인 튜닝과 Continued pre-training
1)
파인 튜닝
특정 작업의 정확도 극대화
필요 데이터 = 소소의 라벨링 된 샘플 데이터
2)
Continued pre-training
도메인에 대한 모델 정확도 유지
필요데이터 = 라벨링 되지 않은 대량의 데이터 세트
4
Amazon Bedrock Fine-Tuning 동작 순서?
제공된 데이터가 S3에 있다.
베이스 모델은 선택한다. 여기서 Meta-Llama2 선택한다.
이후 제공된 데이터와 함께 파인튜닝 한다.
사용자 만들 위한 파인 튜닝된 모델이 생성되어 사용한다.
<3> 실습 Amazon Bedrock 파인튜닝
https://us-west-2.console.aws.amazon.com/bedrock/home?region=us-west-2#/custom-models
<4> SageMaker jumpStart : UI에 의한 파인튜닝도 가능하다.
SageMaker Studio > jumpStart
참고 사이트
<5> 한글 Re-Ranker 파인 튜닝
1
과제
"사내 지식을 기반으로 챗봇을 만드는 과제가 있다.
먼저 사내 지식을 벡터 스토어에 문서(Document) 형태로
저장을 한다.
질문(Query)이 들어오면, 질문과 유사한 Document를 벡터
스토어에서 검색(Retrieval) 한다.
검색된 Documents (예:10개)를 Context로 하고, LLM에
Input(Context + Query)을 제공하여 최종 답변을 얻는다.
위에서 검색된 Documents (10개)를 LLM에 Input으로 제공
전에 Query와 비교해서 가장 유사한 Documents (예: 3개)를
추려서 최종 Context로 사용할 수 있을까?"
=> Re-Ranker 모델로 할 수 있다.
2
검색 증강 생성 아키텍처
3번)
챗봇 애플리케이션이 질문을 받는다.
답변을 검색하기 위해 오픈 서치 벡터 스토어에 요청한다.
답변을 10개 받는다.
4번)
주황색 4년은 Re-Ranker Model에게 질문과 10개 답변을 제공해서
10개의 답변과 질문의 유사 스코어를 제공받는다.
유사 스코어 기반으로 3개 답변을 받는다.
5번)
질문과 함께 LLM에 전달하여 최종 답변을 받는다.
3
참고 자료
다음 AI
https://brunch.co.kr/@topasvga/3744
감사합니다.
