brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Apr 27. 2024

1. 구글 클라우드-제미나이 1.5

제미나이로 할 수 있는 것과 기술변화를 알 수 있었습니다. 



1

공개 기반 모델수 200개가 넘었네요~


2

챗봇은 글을 계속 이어 쓰는 형태의 문장 생성임




3

창발 현상 = in context 러닝

AI가 학습하지 않은 것을 추가로 알게 됨


4

토큰

자연어 처리를 텍스트 나눈 것

토큰은 입력할 수 있는 수 제한됨  , 출력도 제한됨

토큰은 출력수도 제한됨


5

콘텍스트 윈도

크면 클수록 연속적으로 느낀다.


단기 기억력

제미나이는?   백만 토큰


6

RAG

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스.



7

파인튜닝

서비스모델 = 기반 모델 + 미세조정(파인튜닝)


8

MoE =  Mixed of  Experts

여러 개의 전문 모델을 결합하여 하나의 모델을 만드는 방법

예)  GPT4. 제미나이 1.5



9

컨택스트 윈도가 길어지면?


기억이 좋아진다.

인 컨택스트 러닝이 가능해짐

파인튜닝이 필요 없어짐.

프롬프트엔지니어링으로 대체됨  

특정 책들 읽었지. 그럼 바로 물어보자. 이런 식으로 동작한다.


라마 3 나옴으로 파인튜닝을 없애고 사용.

앞으로, 여러 언어모델 말고 1개로 해서 사용할 수 있다.

spof 가능성이 있다.


10

예제


1

사조영웅전을 넣고 질문해 보자.



등장인물수는?


사람이 판단하려면 오래 걸린다.



사조영웅전 관련해 여러 질문이 가능하다.




2

영상 요약 및 검색 가능





3

소스 분석이 가능하다.

소스를 올리고 분석 가능하다.

소스 코드를 압축해 올려도 된다.


앞으로 어떤 문제가 있을 수 있나?  질문해 보자


어떤 부분을 올리면 성능이 나을 수 있나?  질문해 보자




4

음악 분석 가능하다.




5



11

정리


컨택스트 윈도가 길어지므로 , 앞으로, 여러 언어모델 말고 1개로 해서 사용할 수 있다.

파인튜닝, RAG사용하는 기업은 헛수고일 수 있다.

파인튜닝. RAG는 없어지는 기술이 되어 간다.





다음 공부


https://brunch.co.kr/@topasvga/3774


감사합니다



매거진의 이전글 0.Build with AI United-04-27
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari