1111.데이터처리 컨테이너로

AWS 서밋 2024, 우아한 형제들 사례

컨테이너의 유연성을 데이터 처리에 활용.

컨테이너 이미지 기반 패키징 , 빠르고 유연한 컴퓨팅 자원 확보 , 데이터 프로세싱

컨테이너 안에서 데이처 처리해보자~

<1> Amazon EMR on EKS 장점

<2> EC2 기반 플랫폼의 한계

<3> EMR on EKS 효과

<4> Apache Yunikorn  스케줄러 적용  (아파치 유니콘 적용) 

<5> IDC 자원의 활용

<1> Amazon EMR on EKS 장점

1

EMR  워크로드를 EKS에서 운영해보자~

2

데이터 저장은 S3 사용한다. = 컴퓨팅과 스토리지가 분리 됨 =  컴퓨팅만 확장과 축소 가능하다.

3

카펜터 사용 = 빠르게 노드 추가가 가능하다.

4

다양한 버전의 EMR을 사용가능하다.

Spak / EMR 6.9  과  Spak / EMR 70   같이 사용가능하다.

<2> EC2 기반 플랫폼의 한계

1

기존 , EC2 기반의  EMR 사용함.  

도전?

EMR  고정비용 증가~~

낮은 민첩성

어려운 유지보수  - 보안 그룹, 방화벽 설정, EMR 버전 업그레이드

2

Airflow  이관.  = PIPE LINE

EKS  도입

helm차트 기반으로 설치 = 설치 단순화됨.

3

단계적으로 모두 EKS 에 올림.

<3> EMR on EKS 효과

1

EKS 효과

<4> Apache Yunikorn  스케줄러 적용  (아파치 유니콘 적용) 

1

반복적인 VPC 서브넷 고갈 개선 !!!

2

커스텀 스케줄러 적용

<5> IDC 자원의 활용

1

감사합니다.