8. 생성형 AI 스튜디오 소개
<1> 생성형 AI = 방대한 양의 기존 콘텐츠를 학습합니다.
<2> 파라미터 알아보기
<3> FINE TUNING
<1> 생성형 AI = 방대한 양의 기존 콘텐츠를 학습합니다.
1
프롬프트 = 대규모 언어 모델의 콘텐츠 생성 과정을 안내하는 데 사용되는 짧은 텍스트입니다.
생성형 AI가 해주는것
2
생성형 AI 스튜디오 = 애플리케이션에서 생성형 AI 기능을 사용할 수 있도록 도와주는 도구입니다.
지원하는것
생성형 AI 스튜디오에서는 언어, 비전, 음성을 지원
언어의 경우 작업 수행을 위한 프롬프트를 설계하고 언어 모델을 조정할 수 있습니다.
비전의 경우 프롬프트를 기반으로 이미지를 생성하고 해당 이미지를 추가로 편집할 수 있습니다.
음성의 경우 음성에서 텍스트를 생성하거나 그 반대의 경우도 가능합니다.
3
Vertex AI는 Google Cloud의 엔드 투 엔드 ML 개발 플랫폼으로 머신러닝 모델의 빌드, 배포, 관리를 지원합니다
4
단일 명령을 작성하여 LLM이 특정 동작을 채택하도록 하는 방식을 제로샷 프롬프팅이라고 합니다.
명령을 제공하는데 예를 들어 '조슈아 트리 국립공원으로' '캠핑을 갈 때 필요한 물품 목록을 생성하시오.' 이런 텍스트를 모델로 전송하면 모델이 캠핑에 없어서는 안 될 유용한 물품 목록을 출력하는 것을 볼 수 있습니다.
제로샷 프롬프팅은 LLM에 수행을 요청하는 특정 작업에 대한 추가 데이터를 제공하지 않는 방법입니다.
예를 들어 LLM이 질문에 대답하기를 원하면 '프롬프트 설계란 무엇입니까?'라고 묻기만 하면 됩니다.
5
원샷 프롬프팅은 LLM에 수행을 요청하는 작업의 한 가지 예시를 제공하는 방법입니다.
예를 들어 LLM이 시를 쓰도록 하려면 시 한 편을 예시로 제공할 수 있습니다.
6
퓨샷 프롬프팅은 LLM에 수행을 요청하는 작업 예시 몇 개를 제공하는 방법입니다.
몇 가지 예시만으로도 태스크를 수행
구조화 모드를 사용하면 모델이 학습할 컨텍스트와 추가 예시를 제공하여 퓨샷 프롬프팅을 설계할 수 있습니다.
<2> 파라미터 알아보기
1
낮은 온도는 가능성이 높고 예측 가능한 단어를 선택하는 것을 뜻합니다.
이 설정은 일반적으로 Q&A 및 요약과 같은 작업에 더 적합합니다.
변이가 적고 더 '예측 가능한' 답변을 예상하기 때문입니다
2
높은 온도는 가능성이 낮고 더 특이한 단어를 선택하는 것을 의미합니다.
이 설정은 보다 '창의적이거나' 예상하지 못한 콘텐츠를 생성하려는 경우에 적합합니다.
3
온도를 조정하는 것 외에도 최상위 K를 사용하면 모델이 가능성 측면에서 최상위 K개의 단어 중에서 무작위로 단어를 반환합니다.
이 방법을 사용하면 점수가 높은 단어가 선택될 가능성이 있습니다.
그러나 단어의 확률 분포가 크게 왜곡되어 있어 한 단어는 가능성이 매우 높고 나머지 단어의 가능성은 극히 낮은 경우 이 방법은 엉뚱한 답변을 제시할 수 있습니다.
4
최상위 K 값을 선택하기가 어렵다는 점에서 인기를 끄는 또 다른 방법은 단어 관심 목록의 크기를 동적으로 설정하는 것입니다.
최상위 P를 사용하면 모델이 최상위 P 확률의 단어 중에서 무작위로 단어를 반환합니다.
최상위 P를 사용하면 가능성의 합이 P를 초과하지 않는 단어 집합에서 선택합니다.
예를 들어, p가 0.75이면 누적 확률이 0.75보다 큰 단어 집합에서 샘플링한다는 의미입니다.
<3> FINE TUNING
1
사용 사례에 적합한 프롬프트를 찾았다 하더라도 모델 응답의 품질이 완벽하게 일관적이지는 않다는 것을 알게 될 것입니다.
이러한 문제를 완화하는 한 가지 방법은 모델을 조정하는 것입니다.
2
여러분이 익숙한 한 가지 버전은 미세 조정입니다.
이 모델의 복사본을 만든 다음 학습된 가중치를 시작점으로 사용하여 새로운 도메인별 데이터 세트에 대해 모델을 다시 학습시킵니다.
모든 가중치를 업데이트하려면 학습 작업에 시간이 많이 걸릴 수 있습니다.
이러한 모든 계산 작업에 지금 이 방대한 모델을 서비스해야 하는 번거로움과 비용을 모두 생각하면 결과적으로 대규모 언어 모델을 미세 조정하는 것은 최선의 옵션이 아닐 수 있습니다.
3
매개변수 효율적인 조정이라는 혁신적인 방법이 있습니다.
생성형 AI 스튜디오의 언어 섹션에서 '조정'을 선택합니다. = TUNING
LANGUAGE > TUNING
조정된 모델을 생성하려면 이름을 입력합니다
그런 다음 학습 데이터의 로컬 또는 Cloud Storage 위치를 지정합니다.
다음
https://brunch.co.kr/@topasvga/3794
