15탄-분석 워크로드 마이그레이션의 모든 것
분석 워크로드를 AWS로 안전하게 마이그레이션 하는 방법에 대해 Big data platform EMR, Data Warehouse Redshift, OpenSearch를 중심 설명.
Analytics Specialist SA
<1> 사용 사례
<2> Amazon EMR
<3> EMR 마이그레이션 접근 방식
<4> EMR 사용 사례에 따른 적합한 도구 선택
<5> EMR 자료
<6> Amazon Redshift 개요
<7> Amazon Redshift 마이그레이션
<8> AWS Schema Conversion tool(SCT)
<9> AWS Database Migration Service( DMS)
<10> Amazon Redshift 자료
<11> Amazon OpenSearch 마이그레이션
<1> 사용 사례
1
FINRA , 필라
증권업계를 감독하고 있다.
Amazon EMR을 사용하여 매일 2,500억 레코드 수집
매일 20TB 데이터 처리 90%의 Job을 1분 이내 완료.
2
일 로그 검색 및 분석을 500GB에서 1.7TB로 확장, 오픈 서치로 전환함.
운영 비용 30% 절감
3
Nasdaq, 증권 거래소 운영
300억에서 700억 레코드 중단 없이 기록.
통찰력 확보 시간 - 최대 5시간 단축.
<2> Amazon EMR
오픈 소스 프레임워크를 사용한 빅 데이터 분석.
EMR 마이그레이션 10가지 혜택
컴퓨팅과 스토리지 분리 - 각각 확장이 가능하다.
내장된 재해 복구
임시(Transient) 클러스터 - EMR에 있는 데이터는 S3에 있다. EMR이 다운되더라도 다른 AZ에서 클러스터를 기동하고 S3의 데이터를 이용해 다시 시작 가능하다.
필요할 때만 클러스터 사용
스폿 사용
EMR Studio
Spark, Hive, Presto 성능개선
EMR on EKS , EMR Server less
TCO
가장 광범위한 에코 시스템
<3> EMR 마이그레이션 접근 방식
1
가능성&워크로드 평가
마이그레이션 평가 계획
2
마이그레이션 평가
작업 명세서 작성
3
마이그레이션 실행
MVP 만들고 마이그레이션
<4> EMR 사용 사례에 따른 적합한 도구 선택
저장소 - S3
데이터 관리
워크로드
시각화
<5> EMR 자료
Visit http://www.aws.com/emr
Resources: http://www.aws.amazon.com/emr/resources/
EMR Migration Program: https://aws.amazon.com/ko/emr/emr-migration/
AWS Big Data blog: https://aws.amazon.com/ko/blogs/big-data/
<6> Amazon Redshift 개요
1
장점?
모든 데이터 분석
모든 규모에서 빠른 성능
비용 절감
2
Amazon Redshift 파트너
https://aws.amazon.com/ko/redshift/partners
메가존, 베스핀 글로벌
<7> Amazon Redshift 마이그레이션
1
분석 및 계획
2
워크숍 및 파일럿
3
지속적인 워크로드 마이그레이션
<8> AWS Schema Conversion tool(SCT)
AWS SCT는 상용 데이터베이스 및 데이터 웨어 하우스 스키마를 Amazon Redshift, RDS , Aurora와 같은 기타 네이티브 서비스로 변환한다.
<9> AWS Database Migration Service( DMS)
AWS DMS는 데이터베이스와 데이터 웨어 하우스를 AWS로 쉽고 안전하게 마이그레이션 그리고 복제한다.
Redshift로 마이그레이션 하기
관계형 데이터 베이스
비 관계형 데이터 베이스 -------> AWS DMS --------------> Amazon Redshift
다른 소스
<10> Amazon Redshift 자료
Visit https://aws.amazon.com/ko/redshift/
Request a briefing: https://aws.amazon.com/ko/redshift/data-warehouse-migration/
Resources: https://aws.amazon.com/ko/redshift/resources/
Browse FAQs: https://aws.amazon.com/ko/redshift/faqs/
AWS Big Data blog: https://aws.amazon.com/ko/blogs/big-data/
<11> Amazon OpenSearch 마이그레이션
1
대화형 로그 분석, 실시간 애플리케이션 모니터링 , 웹사이트 검색 등을 쉽게 수행 가능하다.
Elasticsearch에서 파생된 분산 검색 및 분석 제품.
2
Elasticsearch 서버스를 Amazon OpenSearch 마이그레이션 가능
AWS 마이그레이션 프로그램을 통해서 빠른 마이그레이션을 위한 각종 툴과 모범사례를 지원한다.
3
Amazon OpenSearch Resources
Visit https://aws.amazon.com/ko/opensearch-service/
Request a briefing: https://aws.amazon.com/ko/big-data/datalakes-andanalytics/migrations/
Resources: https://aws.amazon.com/ko/opensearch-service/resources/
Browse FAQs: https://aws.amazon.com/ko/opensearch-service/faqs/
다음
https://brunch.co.kr/@topasvga/2652
https://brunch.co.kr/@topasvga/2641
감사합니다.
