brunch

You can make anything
by writing

C.S.Lewis

by Master Seo May 03. 2024

6. Gemini API 및 Python SDK 시작

<0> Gemini API를 통해 Gemini Pro Vision 및 Gemini Pro 모델에 액세스

<1> Vertex AI Workbench에서 노트북 열기

<2> generative-ai 폴더 > 파일 실행

<3> Gemini Pro(gemini-pro) 모델은 자연어 태스크, 멀티턴 텍스트 및 코드 채팅, 코드 생성을 처리

<4> Gemini Pro Vision(gemini-pro-vision)은 멀티모달 프롬프트를 지원하는 멀티모달 모델입니다. 




<0> Gemini API를 통해 Gemini Pro Vision 및 Gemini Pro 모델에 액세스



1

Vertex AI Gemini API는 여러 Gemini 모델과의 상호작용을 위한 통합 인터페이스를 제공합니다. 



2

현재 Gemini API에서 사용할 수 있는 모델은 두 가지가 있습니다.


Gemini Pro 모델(gemini-pro): 자연어 태스크, 멀티턴 텍스트 및 코드 채팅, 코드 생성을 처리하도록 설계되었습니다.



3

Gemini Pro Vision 모델(gemini-pro-vision): 멀티모달 프롬프트를 지원합니다. 

프롬프트 요청에 텍스트, 이미지, 동영상을 포함



4

Gemini API 사용법 3가지

빠른 테스트 및 명령어 생성에 Vertex AI Studio 사용

cURL 명령어 사용

Vertex AI SDK 사용



5

 Python용 Vertex AI SDK를 사용



6

Python용 Vertex AI SDK 설치

Gemini Pro(gemini-pro) 모델을 사용해 텍스트 생성

Gemini Pro Vision(gemini-pro-vision) 멀티모달 모델을 사용해 텍스트, 이미지, 동영상 조합에서 텍스트 생성




<1> Vertex AI Workbench에서 노트북 열기





<2> generative-ai 폴더 > 파일 실행


프로젝트 ID로는 Project ID를 사용하고, 위치로는 Region을 사용



1




2





<3> Gemini Pro(gemini-pro) 모델은 자연어 태스크, 멀티턴 텍스트 및 코드 채팅, 코드 생성을 처리


 텍스트 프롬프트에서 텍스트 생성 



1




2





<4> Gemini Pro Vision(gemini-pro-vision)은 멀티모달 프롬프트를 지원하는 멀티모달 모델입니다. 



프롬프트 요청에 텍스트, 이미지, 동영상을 포함하고 텍스트 또는 코드 응답을 얻을 수 있습니다. 




로컬 이미지 및 텍스트에서 텍스트 생성 섹션을 통해 실행




텍스트 및 이미지에서 텍스트 생성 섹션을 통해 





퓨샷 프롬프팅을 위해 여러 이미지 및 텍스트 프롬프트 결합 섹션을 통해 실행



동영상 파일에서 텍스트 생성





Code도 만들어 준다.








이미지 내용을 표로 만들어 준다.

이미지를 분석해준다.



문서 분석



오디오도 text로




text를  오디오로 변환



image나 동영상 sample file이 많다.

모두 하나씩 해보고 이해하자~



다음

https://brunch.co.kr/@topasvga/3791


감사합니다.

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari