3. 구글 클라우드, 쿠버네티스에 LLM 배포

<1> 목표

<2> 구글 클라우드에 배포하기 ~

<1> 목표

모델 배포 라이프 사이클~

모델 배포에 대해서 자세히 보자

베어메탈 서버 

쿠버네티스

관리형 쿠버네티스

서버리스 = 람다 등

ML 플랫폼 

왜 쿠버네티스에 배포하는가?

확장성

이식성 - 컨테이너 기반이다.

적용성

<2> 구글 클라우드에 배포하기 ~

1

2

배포 아키텍처~

3

Kubernetes Cluster 사용하자~~

4

inference  Server는?

잼마 등

5

준비된 서비스

6

GPU

7

클라우드 로드 밸런서

8

스토리지

ㅠ

9

오토 스케일러

10

11

경량화된 잼마

배포

12

배포

쿠버네티스에 배포

완료

추가로

앱도 하나 배포해 사용해 보자.

다음은 

마케팅에 AI 사용하는 사례

https://brunch.co.kr/@topasvga/3777

구글 클라우드. 마케팅. AI사용