6탄-2. Data Lake를 넘어 Data Mesh로
Data Mesh 소개
Data Mesh 구현
<1> 왜 Data Mesh 인가?
<2> Data Mesh를 잘 사용하기 위한 AWS 서비스를 보자
<3> 개인 정리
<1> 왜 Data Mesh 인가?
1
마이크로 서비스 기반 아키텍처
데이터 레이크는 중앙 집중식 구조이다.
중앙 집중식의 문제도 있다.
효과적인 아키텍처가 필요해졌다.
Data Mesh는 분산 기반 아키텍처를 사용한다.
2
Data Mesh는
셀프서비스 데이터 플랫폼을 사용한다.
권한 관리, 데이터 공유, 검색을 사용
데이터 과학자는 고객.
3
Data Mesh는
데이터 소유권한 각 도메인 팀에 있다.
4
Data Mesh 접근 방식?
생산자 ------------ 도메인 : 디지털 광고-------- 소비자 1, 소비자 2
생산자 ------------ 도메인 : 커머스 -------- 소비자 2
생산자 ------------ 도메인 : 제조 ---------------- 소비자 2, 소비자 3
<2> Data Mesh를 잘 사용하기 위한 AWS 서비스를 보자
1
AWS Lake Formation?
데이터 글루와 통합되어 운영된다.
데이터 생산자와 소비자를 연결.
데이터를 공유하는 역할울 한다.
2
아마존 레드 쉬프트?
아마존 레드 쉬프트에서 Data Mesh를 활용할 수 있는 기능을 보자.
3
레드 쉬프트의 서버리스 기능
Data Mesh는 데이터 도메인별로 레드 쉬프트를 운영해야 한다. 이경우 서버리스 기능을 활용하자.
데이터 공유 기능- 교차 계정에서 사용 가능하다.
4
아마존 아테나?
연합 쿼리를 제공한다.
아테나의 경우보다 다양한 서비스와 연계 가능.
레드쉬프트, 오로라 디비, 다이나모 디비, EMR , Hbase와도 연동이 된다.
내계정과 교차 계정을 제공한다.
5
교차 판매 적용 사례
A를 구매한 사람에게 다른 B, C 상품을 구매하도록 하는 것
6
JP모건 사례
소비사 금융, 상업 금융 조직이 각각 데이터 레이크를 별도로 가지고 있다.
민감 데이터 관리 Lake Formation의 태그로 관리
공개해도 되는 것 퍼블릭, 공개 못하는 것은 센스티브로 태깅한다.
7
데이터 매쉬가 모든 조직에 맞는 건 아니다.
단일 데이터 레이크가 접한 한 것도 있다.
<3> 개인 정리
Data Mesh 접근 방식 3가지를 알아보자.
교차 판매 적용 사례를 이해 하자
민감 데이터 관리 Lake Formation의 태그로 관리하자.
데이터 매쉬가 모든 조직에 맞는 건 아니다.
https://brunch.co.kr/@topasvga/2439
감사합니다.
