24탄-6. AWS-금융-네트워크, Data AIOps
<1> 금융에서 사용하는 안전한 네트워크 구축
<2> Data AI Ops 플랫폼
<3> 실습
<1> 금융에서 사용하는 안전한 네트워크 구축
1
전 세계 26개 리전
84개 가용 영역
2
금융권 사용 네트워크 서비스?
VPC , Direct connect , Transit Gateway
3
테이터 센터와 AWS 간 전용선 연결 Direct Connect
데이터 센터----------- VPN over Direct Connect ----- Data VPC
데이터 센터----------- VPN over Direct Connect ----- A VPC-----------Transit Gateway--------- Data VPC
4
Transit Gateway 기반의 간편한 연결
AWS DXGW----TransitVIF---Transit Gateway------VPC1, VPC2, VPC3 , VPC4
5
다양한 AWS 컨테이너 서비스 환경
AWS 컨테이너 오케스트레이션 EKS
<2> Data AI Ops 플랫폼
1
AWS 데이터 파이프라인 참조 아키텍처
온프레미스 데이터----------Direct Connect ----------Glue--------S3 ------ Glue Catalog -----아테나
Glue----RDS 저장
S3 ------SageMaker 사용
분석에 필요한 데이터는 온프레미스에서 생성된다.
Glue를 통해 ETL작업을 수행한다.
S3와 RDS에 적재된다.
S3에 적재된 데이터는 글루 카탈로그 등록을 통해 아테나로 조회가 되도록 한다.
RDS에 적재되는 데이터는 빅데이터가 아니라, 애플리케이션에 필요한 메타데이터나 모델의 성능이나 대시보드를 그리기 위한 모델 메트릭 정보이다.
S3 데이터 레이크는 Sagemaker를 통해 전처리한 데이터는 머신러닝을 이용해 예측이나 분류를 한다.
2
데이터 Ops파이프라인 자동화?
Amazon Managed Workflow for Apache Airflow (MWAA) 사용
3
Amazon SageMaker Studio에서 유저별 접근 권한 관리?
IAM Identity Center (AWS SSO) 로그인
사용자별 샌드박스 SageMaker Studio 배포
4
ML Ops운영 역할 분리
클라우드 플랫폼 관리자?
사용 가능한 자원을 만들어 주는 사람
데이터 AI Ops 관리자?
공통 데이터 레이크 저장소 관리
SageMaker 샌드박스 분석 환경을 배포
데이터 AI 모델러, 분석가?
실제로 사용하게 되는 사람.
데이터 분석
팀 Git운영관리
모델 배포
시각화
<3> 실습
https://brunch.co.kr/@topasvga/1714
https://brunch.co.kr/@topasvga/1765
감사합니다.
