6탄-1. 신한금융그룹이 빅데이터 플랫폼을 만든 이유는

신한 그룹으로 데이터를 모아 사용하고 있다.

환경, 사용법을 알아보자.

<1> Shinhan One Data

<2> 신한 One Data 아키 텍처

<3> 개인 정리

<1> Shinhan One Data

1

신한은행, 신한 카드, 신한 금융 투자, 신한 라이프 4개 사가 참여

순차적으로 나머지 계열사도 참여

2

신한 카드사는?

마이 데이터, 마이 크레디트 사업자이다.

3

데이터를 기반으로 한 다양한 사업을 진행하고 있다.

4

카카오 뱅크, 네이버 파이낸셜 등 빅 테크 기업의 금융시장 진출.

금융회사의 대응 필요

5

AWS 데이터 교육 플랫폼?

6

활용사례?

고객의 금융정보, 금융 행동 등 확인 가능.

7.  AWS를 선택한 이유?

국내외  CSP 사 와 확인

국내 금융사의 많은 레퍼런스,  AWS 가 적합.

<2> 신한 One Data 아키 텍처

https://www.slideshare.net/awskorea/the-age-of-accelerating-the-transformation-of-the-financial-ser vices-paradigm-shinhan-financial-investments-cloud-first-strate gy

1

구성 ?

그룹사와  AWS 간 다이렉트 커넥트.

온프라미스 데이터를 보안 서비스를 거친다.

수집, 변환  ETL 처리를 한다.

AI/ML 분석  서비스를 한다.  EKS  사용한다.

2

주요 서비스?

실시간 데이터 수집 MSK

MWAA  사용

S3는 원천 데이터, 가공 데이터, 리포트 , 분석 결과 저장

정형 데이터는  레드쉬프트에 저장

EKS , ECR  사용

 참고 : MWAA https://docs.aws.amazon.com/ko_kr/mwaa/latest/userguide/what-is-mwaa.html

Amazon Managed Workflow of Apache Airflow (MWAA) 란 무엇입니까? - Amazon Managed Workflows for Apache Airflow

3

데이터 센터와  AWS VPC연결은?

데이터 센터만 있는 경우?

 VPN이나 Direct Connect를 사용한다.

그룹사 A  데이터 센터 -------------------  VPN이나 Direct Connect  -------------------  One Data VPC

데이터 센터----- AWS   사용 중인 경우?

Transit Gateway를 사용한다.

그룹사 A  데이터 센터 -------------------  VPN이나 Direct Connect  -------------------  그룹사  VPC -------------------Transit Gateway----- One Data VPC

// IP CIDR 이 겹치는 경우는  Proxy VPC를 구성하여 해결한다.

4

그룹사들과 연결은?

그룹사 A -- VPN or Direct Connect   -------------------------  Transit Gateway----- One Data VPC  -  Transit Gateway -------------dev vpc  , stage vpc , prd vcp,

그룹사 C --- VPN or Direct Connect  -- 그룹사 C  VPC ------   Transit Gateway-- One Data VPC  - Transit Gateway-------------dev vpc  , stage vpc , prd vcp,

5

데이터 아키텍처?

데이터 레이크  (데이터 호수 구성)

S3

오로라

RDS

EMR

Sage Maker

Redshift

Lake formation  보안과 통합 제공

6

데이터?

정형 데이터?   배치로 수집 , 파일 송수신 데이터 이융, MWAA 사용,  EMR  사용

실시간 데이터?  MSK , Data Firehose , S3에 저장

비정형 데이터?  파일 송수신 프로그램 이용

7

데이터 복사 방안?

S3 ------------S3  복제  ---------- DMZ  구간 - S3 ------  탐지 솔루션 사용 ---------- 수집  S3

S3 간 데이터 복제 ----  DATA Sync 서비스도 좋다.

8

데이터 가공 및 소비?

파일, 데이터 베이스 ------------ 수집 ------전처리 / 통합 -------- 집계/분석

9

분석 환경?

분석 프로세스?

10

 Redshift   사용

11

자동 파기

즉시 파기

<3> 개인 정리

신한 그룹으로 데이터를 모아 사용하고 있다.

카카오 뱅크, 네이버 파이낸셜 등 빅 테크 기업의 금융시장 진출.

금융회사의 대응 필요

실시간 데이터 수집 MSK

MWAA  사용

S3는 원천 데이터, 가공 데이터, 리포트 , 분석 결과 저장

정형 데이터는  레드쉬프트에 저장

EKS , ECR  사용

 IP CIDR 이 겹치는 경우는  Proxy VPC를 구성하여 해결한다.

https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

https://brunch.co.kr/@topasvga/1765

(몰아보기) AWS 머신러닝 전문가 되기

https://brunch.co.kr/@topasvga/1758

(자료) AWS 분야별 전문가 되기-2022

같이 볼만한 자료

https://brunch.co.kr/@topasvga/2439

(모음) AWS Summit Korea -퀵하게 보기

감사합니다.