87 Amazon_EKS_기반_클라우드_최적화와_생성형
87 Amazon_EKS_기반_클라우드_최적화와_생성형_AI_혁신_전략
# 쿠버네티스 최적화 알아보자
# EKS에서 AI 사용 형태 알아보자.
<1> 쿠버네티스 3가지 장점
<2> 쿠버네티스 고민
<3> 쿠버네티스 관리해야 하는 것
<4> 쿠버네티스 네트워크 관리해야 한다.
<5> 로드 밸런서 관리해야 한다.
<6> 쿠버네티스 비용 최적화
<7> 센드버드 클라우드 최적화 전략
<8> EKS와 생성형 AI
<1> 쿠버네티스 3가지 장점
민첩성, 이식성
오토 스케일링
특정 플랫폼 종속성이 없다. 오픈 플랫폼의 장점이다.
전 세계에서 가장 많은 플랫폼이다.
<2> 쿠버네티스 고민
설계 복잡
운영의 어려움
가시성이 떨어짐
비용 예측이 힘듦
러닝커브 발생
운영에 대해 이슈 발생
AWS 모범 사례로 해결
<3> 쿠버네티스 관리해야 하는 것
애플리케이션 = 파드
제어부 = 컨트롤 플래인 = AWS에 관리 = 그러나 API 로깅, 모니터링 필요
워커 노드
<4> 쿠버네티스 네트워크 관리해야 한다.
VPC CNI 관리해야 함
업그레이드해야 함
<5> 로드 밸런서 관리해야 한다.
로드밸런서 = 서비스
IP로 타깃을 잡아야 한다.
CoreDNS 모니터링과 튜닝 필요
iptables 사용한다 = 리눅스 리소스 사용한다 = IPVS를 사용하자.
<6> 쿠버네티스 비용 최적화
카펜터를 이용해 최적화 = 카펜터가 최적화해 줌
스토리지 = GP3 , IOPS 최적화
EKS 제어부 로그 최적화, EKS 데이터 노드 로그 최적화
<7> 센드버드 클라우드 최적화 전략
1
비용 절감?
EKS기반 현대화 = 비용 효율, 민첩성
그라비톤 사용, Spot 사용
AZ local 정책 = 리전 간 통신 비용 줄임
2
AZ local 정책 = 리전 간 통신 비용 줄임
NodeAffinity를 통해 AZ 고정 스케줄링 = POD와 DB AZ 내 로컬 통신
NLB - Istio Gateway 연동
3
IPV6 사용
NAT 게이트웨이 비용 = 기존 시간당 등 발생 = IPv6 아웃바운드 트래픽은 Egress Only IGW 사용, 듀얼 스택 사용 중
4
EKS Audio log 전략 변경 - 기존 대비 90% 비용 절감.
변경 전 Cloud watch
변경 후 S3 = API 서버가 생성한 Audit Log가 S3에 저장됨.
5
기술력 기반의 비용 최적화를 새로운 혁신에 투자 (생성형 AI)
<8> EKS와 생성형 AI
EKS 기반에서 Model 프레임워크, Model Registry , Model 실험, Model 개발/학습, Model 배포 서빙에 EKS 사용하고 있다.
Full Managerd 기반 생성형 AI = Amazon Q, Amazon Bedrock , Amazon SageMaker
Self Managed 기반 생성형 AI = Amazon ECS, Amazon EKS
같이 보면 좋을 자료
https://brunch.co.kr/@topasvga/3217
https://brunch.co.kr/@topasvga/3144
