NCP 19탄-5. 클로바 스튜디오 튜닝
튜닝을 하면 엔진이 변경된다~
<1> 튜닝 = 기업의 데이터셋으로 추가 학습 시킴.
<2> API를 통한 튜닝 작업 생성하기
<3> 참고 자료
<1> 튜닝 = 기업의 데이터셋으로 추가 학습 시킴.
1
튜닝 = 기업의 데이터 셋으로 특화 AI 모델 구축 = 기업의 데이터셋으로 추가 학습 시킴.
추가 학습이다.
기업 데이터만 사용하는게 아니다!!
기존 데이터와 합쳐져서 결과가 나오는 것이다.
플레이 그라운드는 토큰의 제약이 있으나, 튜닝은 제약이 없다.
계정의 액세스키, 시크릿키를 사용한다.
hcx-003으로 변경
test model 이름도 변경됨
https://clovastudio.ncloud.com/tuning
2
튜닝 - 작업 종류
튜닝으로 할수 있는것?
대화 > 생성하기
3
유니코드(UTF-8) 파일 이여야 한다.
Excel을 그냥 저장하면 유니코드(UTF-8) 파일이 아니다.
업로드 Excel 파일
Text 와 Completion 형식이다
최소 400건 이상 만들어야 한다.
4
학습에 10여분 걸림
5
오른쪽위 내 계정 이름 클릭 > 내작업에서 확인 가능하다.
6
튜닝 시작과 종료시 메일 계정으로 시작과 종료 메일이 온다.
튜닝 시간이 많이 걸려서 그런거 같다.
위 예제는 20분 걸린다.
메일
메일이 온다.
메일이 온다.7
오른쪽위 > 내작업 > 튜닝에서 확인한다. 학습 완료 클릭
튜닝 데이터셋과 '동일한 포맷으로 질의' 작성 테스트
ex)
어르신 : 독감주사 맞아야하는데 어디로 가야하나?
실행
<2> API를 통한 튜닝 작업 생성하기
1
튜닝 API 생성하기
2
학습 생성 API > 코드 보기
3
Python으로 변경 > 복사하기
4
데이터 세트 다운로드
양식?
c_id
t_id
text
completion
코랩에서 테스트한다.
https://colab.research.google.com/
서버에서 test.py 파일 생성
jupyter notebook에 코드 복사
6
지정 해야 할것들?
iam_access_key
secret-key
data파일 경로는 변경후 실행
request_id = test
model = HCX-003
qa_generation_sample.csv
7
코드 실행.
8
학습 시작 확인
10분정도 학습중
9
학습완료후 플레이 그라운드에서 테스트
Inference Test 이동하기
Engine이 Test2라는 모델로 변경되어 있다.
10
참고 문서를 기반으로 테스트해보자~
튜닝시킨 데이터 셋과 동일한 포맷으로 질의하기
11
시스템
AI 언어 모델은 사용자의 요청 내용을 정확히 이해하고 해당 요청을 수행하는 답변을 작성합니다.
- 최대한 정확하고 구체적인 답변을 제공합니다.
or
- 사용자의 질문에 대해 쌍따옴표 세개로 구분되어 제공된 문장에서 최대한 정확하고 구체적인 답
변을 찾아서 출력합니다.
사용자
오스트레일리아 연방(영어: Commonwealth of Australia), 줄여서 오스트레일리아, 혹은 호주는 오
스트레일리아 대륙 본토와 태즈메이니아섬, 그리고 인도양과 태평양의 많은 섬으로 이루어진 주권국
이며 오세아니아에서 1번째, 세계에서 6번째로 면적이 넓은 나라다. 북쪽에는 인도네시아와 동티모
르, 파푸아뉴기니, 북동쪽에는 솔로몬 제도와 바누아투, 누벨칼레도니, 그리고 남동쪽에는 뉴질랜드
가 있다. 수도는 캔버라이고, 주요 도시로는 시드니, 멜버른, 브리즈번, 퍼스, 골드코스트, 애들레이드 등이 있다.
18세기 말 유럽인들 이주 이전인 최소 40,000년 전부터 원주민이 살았다고 여긴다.
1606년 네덜란드 공화국이 오스트레일리아를 발견한 이후 1770년, 그레이트브리튼 왕국이 오스트
레일리아 동쪽 지역을 자기 영토로 삼았으며, 1788년 1월 26일부터 뉴사우스웨일스주의 식민지로
죄인들을 수송해 정착시키기 시작하면서 이민이 시작되었다. 그 이후 인구는 차츰 늘기 시작했고,
계속 대륙을 탐험해서 다섯 개 자치 식민지를 추가로 건설했다. 1901년 1월 1일, 여섯 개 식민지가
연합하여 오스트레일리아 연방을 설립하였다. 모국인 영국과 지리적 영향으로 인해 다른 정체성을
점차 갖추었다. 1942년 웨스트민스터 헌장 적용을 받아 행정적으로 모국과 분리되었으며, 1948년부
터 오스트레일리아에 거주하는 영국 국민은 오스트레일리아 국적을 사용하게 되었다. 1986년 오스
트레일리아 법이 영국 의회에서 통과되어 영국 의회의 오스트레일리아 내 입법권이 정지되었으며,
사법권도 최고재판소가 런던의 추밀원에서 오스트레일리아 고등법원으로 옮겨짐으로써 영국과 남은
법적 종속관계를 단절하여 자주국가가 되었다. 오스트레일리아는 영국과 캐나다, 뉴질랜드를 비롯한
영연방 국가들과 동군연합을 이루고 있으며, 국가원수는 찰스 3세 국왕을 대표하는 오스트레일리아
총독이며, 입헌군주제 국가이다. 연방 성립 이후부터 대의 민주주의를 기본으로 한 자유민주주의 정
치 체제를 유지하고 있다. 오스트레일리아는 6개 주와 2개 준주, 6개 특별 지역이 있고, 약 2,290
만 인구는 대부분 동쪽 지역에 밀집해 있으며, 도시화 비율이 세계에서 손꼽힐 정도로 높다. 오스트
레일리아는 GDP가 세계에서 열두 번째로 높고, 1인당 GDP은 6번째로 높은 대표적 선진국이다. 군
비 지출은 12번째로 많으며, 인간 개발 지수에서 2위를 비롯해 오스트레일리아는 삶의 질, 건강,
교육, 경제적 자유, 시민적 자유와 권리의 보호 등 다양한 국가간 비교에서 높은 순위를 기록하고
있다. 오스트레일리아는 G20, OECD, WTO, APEC, 국제 연합, 영국 연방, 앤저스(ANZUS), 태평양
제도 포럼에 가입해 있다. 한편, 2012년 OECD(경제 협력 개발 기구) 조사에서 오스트레일리아가
세계에서 가장 살기 좋은 나라로 나타났다.[2]
#질문 : 오스트레일리아는 몇번째로 큰 나라야?
12
사용자
#질문 : 오스트레일리아에 거주하는 영국 국민은 오스트레일리아 국적을 사용하게 된 시기는?
13
일반 HCX-003으로 엔진을 변경하고 질문을 해보자.
여러분이 가진 데이터 셋을 가지고 활용하고 싶다면 튜닝 학습을 하자~~
이상, 테스트 셋에 특화된 데이터를 가지고 활용하는 법이였습니다.
<3> 참고 자료
[적용사례]
기업과 개인 사용자가 만든 다양한 생성형 AI 서비스
- 기업 사례 : https://clova.ai/hyperclova#case
- 개인 사례 : https://www.ncloud-forums.com/topic/213/
[포럼]
클로바 스튜디오 기획자와 사용자들의 활용팁
https://www.ncloud-forums.com/forum/6/
다음
https://brunch.co.kr/@topasvga/3765
감사합니다.
