1. 구글 클라우드-제미나이 1.5
제미나이로 할 수 있는 것과 기술변화를 알 수 있었습니다.
1
공개 기반 모델수 200개가 넘었네요~
2
챗봇은 글을 계속 이어 쓰는 형태의 문장 생성임
3
창발 현상 = in context 러닝
AI가 학습하지 않은 것을 추가로 알게 됨
4
토큰
자연어 처리를 텍스트 나눈 것
토큰은 입력할 수 있는 수 제한됨 , 출력도 제한됨
토큰은 출력수도 제한됨
5
콘텍스트 윈도
크면 클수록 연속적으로 느낀다.
단기 기억력
제미나이는? 백만 토큰
6
RAG
RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스.
7
파인튜닝
서비스모델 = 기반 모델 + 미세조정(파인튜닝)
8
MoE = Mixed of Experts
여러 개의 전문 모델을 결합하여 하나의 모델을 만드는 방법
예) GPT4. 제미나이 1.5
9
컨택스트 윈도가 길어지면?
기억이 좋아진다.
인 컨택스트 러닝이 가능해짐
파인튜닝이 필요 없어짐.
프롬프트엔지니어링으로 대체됨
특정 책들 읽었지. 그럼 바로 물어보자. 이런 식으로 동작한다.
라마 3 나옴으로 파인튜닝을 없애고 사용.
앞으로, 여러 언어모델 말고 1개로 해서 사용할 수 있다.
spof 가능성이 있다.
10
예제
1
사조영웅전을 넣고 질문해 보자.
등장인물수는?
사람이 판단하려면 오래 걸린다.
사조영웅전 관련해 여러 질문이 가능하다.
2
영상 요약 및 검색 가능
3
소스 분석이 가능하다.
소스를 올리고 분석 가능하다.
소스 코드를 압축해 올려도 된다.
앞으로 어떤 문제가 있을 수 있나? 질문해 보자
어떤 부분을 올리면 성능이 나을 수 있나? 질문해 보자
4
음악 분석 가능하다.
5
11
정리
컨택스트 윈도가 길어지므로 , 앞으로, 여러 언어모델 말고 1개로 해서 사용할 수 있다.
파인튜닝, RAG사용하는 기업은 헛수고일 수 있다.
파인튜닝. RAG는 없어지는 기술이 되어 간다.
다음 공부
https://brunch.co.kr/@topasvga/3774
감사합니다
