24탄-9. AWS-여행-마이리얼트립
EKS 환경을 활용한 데이터서비스 플랫폼
<1> 마이리얼트랩 소개
<2> 마이리얼트립 데이터플랫폼
<3> 데이터 플랫폼 히스토리
<4> 분석 플랫폼 아키텍처
<5> EKS 사용 이유?
<6> EKS 배포 환경 구성
<7> EKS 모니터링
<8> 실습
<1> 마이리얼트랩 소개
한국인 여행객과 전 세계의 여행경험을 연결해주는 앱
항공, 숙박, 교통을 모두 연결해 준다.
<2> 마이리얼트립 데이터플랫폼
데이터 플랫폼 팀
1
플랫폼 구분?
분석 플랫폼 - 임직원 사용
데이터 서비스 (플랫폼 데이터 서비스 PDS) - 고객 사용
2
데이터 처리 방법?
배치 서비스 - D-1 / 1시간당
스트리밍 서비스 - 리얼 타임
<3> 데이터 플랫폼 히스토리
1
첫번째 DW마트 구축
안정적인 분석 플랫폼 구축
EC2기반
2
두번째, 자체적인 로그 시스템 구축 - 구글의 파이어 베이스로 구축, 제약이 있어 자체로그 풀랫폼으로 만듦.
EC2기반
3
데이터 기반 서비스 개발
카프카 스트림, 다이나모 디비 사용
직접 db를 조회하는 경우가 생겨 장애 발생 소지가 있어, 분석 시스템을 만듦. 오라클, 오로라, 포스트 그래
ECS로 만듦.
4
데이터 서비스 플랫폼을 만듦
카프카 스트림, 다이나모 디비
EKS로 전환
5
신속성, 안정성, 신뢰성, 일관성, 확장성.
6
서비스는 EKS로 구축함.
7
데이터는?
RDS 데이터 (oracle , mysql, postgre)
외부 데이터 - 광고 데이터 (카카오, 페이스 북, 네이버등에 광고한 것)
자체 구축된 로그 데이터 -- 카프카 , 배치로
데이터 허브에 메타 데이터가 모두 쌓인다.
모니터링 - 리데시, 알람 - 슬랙
<4> 분석 플랫폼 아키텍처
1
Airflow 사용함.
EKS안에 워크 스페이스를 만듦.
Airflow OO팀 workspace
2
자체 로그 플랫폼?
유저- 안드로이드, PC --- Bizlog Gateway---MSK --- 아파치 Nifi (스트리밍 ETL) --- 분석 플랫폼-슬랙- Airflow
로그의 종류가 많아짐에 따라, 로그 데이터 관리를 위해 , 로그 메타 관리 프로그램을 만듦.
3
마이리얼트램 리얼타임 아키텍처(CDC)?
RDS-kakfak connect-------MSK--------Kafka connect-analysis Platform.
4
데이터 서비스 플랫폼 아키텍처?
데이터 서비스 플랫폼 + 분석 플랫폼
마이리얼트립 앱 ----- API Gateway를 통해 사용.
예약이 발생했다. 후기가 발생했다는 내용이 나옴.
카테고리에서 판매 몇 등 했는지 앱에 표시됨.
파트너 대시보드도 만들어 준다.
항공권 가격 싼 건지 비싼 건지 표시해 준다.
<5> EKS 사용 이유?
쿠버네티스 환경 구축/운영에 대한 부담이 없다.
운영에 대한 리소스 부담을 줄여 줍니다.
Helm을 이용한 IAC(infra as code) 적용으로 서비스 운영 비용 축소
Airflow를 EC2 대신 컨테이너로 사용해 EC2 비용 절감
<6> EKS 배포 환경 구성
개발자-----------GutHub----------Pull-----Argo-----HELM------------ EKS Airflow cluster / CDC Cluster / Kafka stream Cluster
<7> EKS 모니터링
1
EKS ------jmx export pull----프로메테우스--------그라파나------------알람은 슬랙
2
EKS ----text log-------상세 로그는 fluent bit--------Clopudwatch-------알람은 슬랙
데이터팀은 회사에 많은 기여할 수 있는 기술 조직이다.
<8> 실습
https://brunch.co.kr/@topasvga/1766
https://brunch.co.kr/@topasvga/1769
다음
https://brunch.co.kr/@topasvga/2882
감사합니다.
