15탄-분석 워크로드 마이그레이션의 모든 것

분석 워크로드를 AWS로 안전하게 마이그레이션 하는 방법에 대해 Big data platform EMR, Data Warehouse Redshift, OpenSearch를 중심 설명.

Analytics Specialist SA

<1>  사용 사례

<2>  Amazon EMR

<3> EMR 마이그레이션 접근 방식

<4> EMR 사용 사례에 따른 적합한 도구 선택

<5> EMR 자료

<6> Amazon Redshift 개요

<7>  Amazon Redshift 마이그레이션 

<8>  AWS Schema Conversion tool(SCT)

<9>  AWS Database Migration Service( DMS)

<10>  Amazon Redshift 자료 

<11> Amazon OpenSearch  마이그레이션

<1> 사용 사례

1

FINRA , 필라

증권업계를 감독하고 있다.

Amazon EMR을 사용하여 매일 2,500억 레코드 수집

매일 20TB 데이터 처리 90%의 Job을 1분 이내 완료.

2

Pinterest

일 로그 검색 및 분석을 500GB에서 1.7TB로 확장, 오픈 서치로 전환함.

운영 비용 30% 절감

3

Nasdaq, 증권 거래소 운영

300억에서 700억 레코드 중단 없이 기록.

통찰력 확보 시간 - 최대 5시간 단축.

<2> Amazon EMR

오픈 소스 프레임워크를 사용한 빅 데이터 분석.

EMR 마이그레이션 10가지 혜택

컴퓨팅과 스토리지 분리 - 각각 확장이 가능하다.

내장된 재해 복구

임시(Transient) 클러스터 - EMR에 있는 데이터는 S3에 있다.  EMR이 다운되더라도 다른 AZ에서 클러스터를 기동하고 S3의 데이터를 이용해 다시 시작 가능하다.

필요할 때만 클러스터 사용

스폿 사용

EMR Studio

Spark, Hive, Presto  성능개선

 EMR on EKS , EMR Server less

TCO

가장 광범위한 에코 시스템

<3> EMR 마이그레이션 접근 방식

1

가능성&워크로드 평가

마이그레이션 평가 계획

2

마이그레이션 평가

작업 명세서 작성

3

마이그레이션 실행

MVP 만들고 마이그레이션 

<4>  EMR 사용 사례에 따른 적합한 도구 선택

저장소 -  S3

데이터 관리

워크로드

시각화

<5>  EMR 자료

Visit http://www.aws.com/emr

빅 데이터 플랫폼 - Amazon EMR - Amazon Web Services

Resources: http://www.aws.amazon.com/emr/resources/

Amazon EMR 리소스 - 빅 데이터 플랫폼 - Amazon Web Services

EMR Migration Program: https://aws.amazon.com/ko/emr/emr-migration/

Apache Hadoop and Apache Spark to Amazon EMR Migration Acceleration Program - Amazon Web Services

AWS Big Data blog: https://aws.amazon.com/ko/blogs/big-data/

AWS Big Data Blog

<6> Amazon Redshift 개요

1

장점?

모든 데이터 분석

모든 규모에서 빠른 성능

비용 절감

2

 Amazon Redshift  파트너

https://aws.amazon.com/ko/redshift/partners

Amazon Redshift 파트너 - 클라우드 데이터 웨어하우스 - Amazon Web Services

메가존, 베스핀 글로벌

<7>   Amazon Redshift 마이그레이션 

1

분석 및 계획

2

워크숍 및 파일럿

3

지속적인 워크로드 마이그레이션

<8> AWS Schema Conversion tool(SCT)

AWS SCT는 상용 데이터베이스 및 데이터 웨어 하우스 스키마를    Amazon Redshift, RDS , Aurora와 같은 기타 네이티브 서비스로 변환한다.

<9> AWS Database Migration Service( DMS)

AWS DMS는 데이터베이스와 데이터 웨어 하우스를 AWS로 쉽고 안전하게 마이그레이션 그리고 복제한다.

Redshift로 마이그레이션 하기

관계형 데이터 베이스

비 관계형 데이터 베이스        ------->  AWS DMS -------------->  Amazon Redshift 

다른 소스 

<10>  Amazon Redshift 자료 

Visit https://aws.amazon.com/ko/redshift/

데이터 웨어하우스 | Redshift | Amazon Web Services

Request a briefing: https://aws.amazon.com/ko/redshift/data-warehouse-migration/

AWS의 목적별 데이터베이스 | Amazon Web Services

Resources: https://aws.amazon.com/ko/redshift/resources/

Amazon Redshift 리소스 - 클라우드 데이터 웨어하우스 - Amazon Web Services

Browse FAQs: https://aws.amazon.com/ko/redshift/faqs/

Amazon Redshift FAQ - 클라우드 데이터 웨어하우스 - Amazon Web Services

AWS Big Data blog: https://aws.amazon.com/ko/blogs/big-data/

AWS Big Data Blog

<11> Amazon OpenSearch  마이그레이션

1

대화형 로그 분석, 실시간 애플리케이션 모니터링 , 웹사이트 검색 등을 쉽게 수행 가능하다.

Elasticsearch에서 파생된 분산 검색 및 분석 제품.

2

Elasticsearch 서버스를  Amazon OpenSearch  마이그레이션 가능

AWS 마이그레이션 프로그램을 통해서 빠른 마이그레이션을 위한 각종 툴과 모범사례를 지원한다.

3

Amazon OpenSearch Resources

Visit https://aws.amazon.com/ko/opensearch-service/

관리형 오픈 소스 Elasticsearch 및 OpenSearch 검색 및 로그 분석 – Amazon OpenSearch Service – Amazon Web Servi

Request a briefing: https://aws.amazon.com/ko/big-data/datalakes-andanalytics/migrations/

Resources: https://aws.amazon.com/ko/opensearch-service/resources/

Amazon OpenSearch Service 리소스 – Amazon Web Services

Browse FAQs: https://aws.amazon.com/ko/opensearch-service/faqs/

Amazon OpenSearch Service FAQ – Amazon Web Services

다음

https://brunch.co.kr/@topasvga/2652

대용량 데이터베이스의 클라우드 네이티브 DB로 전환

https://brunch.co.kr/@topasvga/2641

15탄- (정리) 마이그레이션

감사합니다.