2. LLM 소개
<1> LLM이라고도 하는 대규모 언어 모델
<2> 생성형 AI 스튜디오
<3> LLM 은
<1> LLM이라고도 하는 대규모 언어 모델
1
특정 조직만이 거대한 데이터 세트와 엄청난 수의 매개변수로 이러한 대규모 언어 모델을 학습.
다른 조직이 사용할 수 있는 기본 언어 모델을 만들게 하면 어떨까요?
결론이 선행 학습과 미세 조정인데 범용 대규모 데이터 세트로 대규모 언어 모델을 선행 학습시킨 다음 훨씬 더 작은 데이터 세트로 목적에 맞게 미세 조정한다는 뜻입니다.
2
대규모 언어 모델의 이점은 ?
첫째, 단일 모델을 여러 작업에 사용할 수 있습니다.
대규모 언어 모델은 페타바이트 데이터로 학습하고 수십억 개의 매개변수를 생성하므로 다양한 작업을 해결할 수 있을 만큼 똑똑합니다.
둘째, 대규모 언어 모델은 최소한의 필드 학습 데이터만 있으면 모델을 조정하여 특정 문제를 해결할 수 있습니다. 도메인 학습 데이터가 거의 없어도 괜찮은 성능을 얻을 수 있죠.
셋째, 더 많은 데이터와 매개변수를 추가하면 대규모 언어 모델의 성능이 계속해서 개선됩니다.
3
파인 튜닝 = 미세 조정
모델을 조정하면 모델에서 수행하기를 원하는 작업의 예시를 기반으로 모델 응답을 맞춤설정할 수 있습니다.
또한 모델을 추가로 조정하는 방법은 데이터 세트를 가져오고 LLM의 모든 가중치를 조정하여 모델을 다시 학습시켜 '미세 조정'하는 것입니다.
의료 데이터를 학습한 의료 기반 모델의 예입니다.
작업에는 질의응답, 이미지 분석, 유사 환자 찾기 등이 포함됩니다.
4
미세 조정은 비용이 많이 들고 현실적이지 않은 경우가 많습니다 그렇다면 더 효율적인 조정 방법이 없을까요?
매개변수 효율적인 조정 방법은 모델을 복제하지 않고 커스텀 데이터에 대해 대규모 언어 모델을 조정하는 것입니다.
기본 모델 자체는 변경되지 않습니다.
대신 소수의 애드온 레이어를 조정하여 추론 시점에 교체할 수 있습니다.
Parameter-Efficent Tuning Moethods (PETM)
Prompt Tuning
<2> 생성형 AI 스튜디오
1
생성형 AI 스튜디오를 사용하면 Google Cloud의 애플리케이션에서 활용 가능한 생성형 AI 모델을 빠르게 탐색하고 맞춤설정할 수 있습니다.
2
생성형 AI 앱 빌더에는 앱을 쉽게 설계하고 구축할 수 있는 드래그 앤 드롭 인터페이스 앱 콘텐츠를 쉽게 만들고 편집할 수 있는 비주얼 편집기 사용자가 앱 내에서 정보를 검색할 수 있는 내장 검색엔진 자연어를 사용해 앱과 상호작용할 수 있는 대화형 AI 엔진이 있습니다.
3
프로토타입을 빠르고 쉽게 제작하려면 개발자는 PaLM을 MakerSuite와 통합하고 이를 사용하여 그래픽 사용자 인터페이스를 통해 API에 액세스할 수 있습니다.
<3> LLM 은
1
LLM은 다음과 같은 수많은 작업에 사용할 수 있습니다.
1) 글쓰기2) 번역3) 코딩4) 질문에 대한 답변5) 텍스트 요약6) 창의적인 콘텐츠 생성
2
LLM은 다음과 같은 많은 이점을 제공합니다.
1) 확률 및 인간과 흡사한 수준의 텍스트를 생성할 수 있습니다.
2) 텍스트 요약 및 코드 생성 등 수많은 작업에 사용할 수 있습니다.
3) 텍스트와 코드로 구성된 방대한 데이터 세트로 학습할 수 있습니다.
4) 지속적으로 개선됩니다.
이미지로 구성된 방대한 데이터 세트로 학습할 수는 없다.
3
LLM은 인간과 흡사한 수준의 텍스트를 생성할 수 있는 인공지능(AI)의 한 유형입니다.
LLM은 텍스트와 코드로 구성된 방대한 데이터 세트로 학습되며 글쓰기, 번역, 코딩과 같은 수많은 작업에 사용할 수 있습니다.
4
LLM을 사용할 때 발생할 수 있는 문제 ?
유해한 콘텐츠를 생성하는 데 사용될 수 있습니다.
학습에 많은 비용이 들 수 있습니다.
편향될 수 있습니다
다음
https://brunch.co.kr/@topasvga/3786
감사합니다.
