30탄-2. (요약) AWS로 마이그레이션 사례2022
클라우드로 마이그레이션 하는데 참고하시기 바랍니다.
<1> 롯데 e커머스 - 마이크로 서비스 아키텍처 진화
<2> 농심 그룹 - 메가마트 - 온프레미스 exadataㅡ DW 데이터 분석
<3> 제주항공- 컨테이너 기반
<4> DevSecOps
<5> Cloud Migration - FinOps
<6> 언터 프라이즈 클라우드 마이그레이션- 스마일 샤크, 리씽크 몰
<7> 기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결
<8> 대규모 온프레미스 하둡 마이그레이션
<9> 한글과 컴퓨터 마이그레이션 - AWS MGN
<10> 분석 워크로드 마이그레이션 - EMR , AWS SCT , DMS , OpenSearch
<11> 대용량 데이터베이스의 클라우드 네이티브로 전환
<12> SAP on AWS 마이그레이션
<13> Microsfot Workloads Migration
<14> 마이그레이션과 함께 시작되는 Cloud Financial Management
<15> CJ프레시웨이 All-in 클라우드 전환 사례
<16> 클라우드 전문가 조직
<17> 누가 내 엔터프라이즈 고객을 클라우드로 옮겼을까? 마이그레이션 서비스 종류
<100> 자세히 보기
<1> 롯데 e커머스 - 마이크로 서비스 아키텍처 진화
1
MSA로 진화?
EC2-> ECS -> EKS로 진화.
블루 그린, 카나리 배포 등으로 배포 진화.
MAS효과는? Time to Market 실현
롯데 ON
빅뱅 방식이 아닌 점진적인 MSA로 전환 - 3건 진행. 조금 무모했다. 영향도, 리스크 충분히 고려.
사용 기술 스택의 완벽한 이해 - 기술 내재화가 되어 있어야 함.
내부에서 컨트롤이 안되면 장애 발생. 내부에서 컨트롤할 수 있는 기술로 전환함.
서킷 브레이커 패턴? - MSA라도 하나가 장애면 전체 장애 문제가 발생
카오스 엔지니어링 - 시스템 장애 발생 시 어떤 부분인지 미리 알고 있어야 한다. 카오스 엔지니어링을 통해 지속적으로 개선이 필요하다.
모니터링 및 경고 중앙화 - 분석 및 추적 - 다양한 서비스라, 이슈 발생 시 추적하고 분석이 어렵다. 용이하게 할 수 있는 체계가 있어야 한다.
2
비용, 자원 최적화 과정은?
사용량 분석
리소스 Right Sizing
미사용 리소스 삭제
리소스 스케줄링
Spot적용
S3 버저닝/티어링
Auto Scaling
아키텍처 최적화
3
자원 최적화?
사용량 분석 -트러스트 어드바이저, 컴퓨트 옵티마이저, 클라우드 와치 , 내부 모니터링 설루션을 통한 분석
진행
리소스 Right Sizing
미사용 리소스 삭제
리소스 스케줄링 - 개발 서버 등 주말 , 야간에 중지 , AWS 스케쥴링 적용함.
Spot적용
S3 버저님, 티어링 - 수 페타 바이트 최적화 필요. 대용량 분석 어려움. 작은 파일이 많다. 복구 가능한 건 버저닝 오브젝트 끄고, 티어링 함 , 오브젝트 수 감소시킴.
Auto Scaling - EKS node, , Spot 최적화.
아키텍처 최적화 - 주기적으로 진행, 많은 아이디어 도출 , 각 개발팀 , 구축했던 분들 조사함. 프라이빗 링크로 데이터 비용 줄임. CF 클라이언트 캐시, 카프카 , ETL 최적화,
EC2를 컨테이너화, 디비 통합 , 데이터 라이프사이클 , 애플리케이션에 대한 구조 개선함.
4
할인/계약 비용 분석?
RI/SP 커버리지로 80~90% , 사용량 100% 주 단위, Cost explorer로 실시간 관리
CFR - CDN 약정 계약. 연단 위로 사용량 계약 - 70% 할인
EDP - 대량 구매 , 장기, S3에 대한 약정 계약이 있다!!! ( 대량만 가능)
리소스 태그
비용 분석 시스템 구축 , 오픈
5
비용 관리 프레임워크?
일단위 - 자체 구축한 시스템 , 태깅 없으면 알람이 온다.
주 단위 - RI /SP , 미사용 리소스 제거, 맞는 사이즈
월 단위 - 기술 협의체를 통해 아키텍처 리뷰/개선 , 전원 대비 , 데이터 라이프
분기 단위 - 전사 단위로 다양한 캠페인, 관련 팀장, 임원에 리뷰 진행
연단 위 - RI/ SP , EDP , CFRC , S3
6
배운 점?
비용 통제 거버넌스(프로세스) , 프레임 워크가 있어야 한다.
비용을 지속적으로 최적화하는 전담 담당자가 있어야 한다.
주기적인 비용 분석 및 지표 관리
전사 IT부서의 비용 인식 문화 - 실시간 비용을 관리하는 시스템 구축이 필요하다.
투명한 정보 제공
<2> 농심 그룹 - 메가마트 - 온프레미스 exadataㅡ DW 데이터 분석
1
원천 시스템 - POS, 내부 ERP , 외부 시스템에서 수집
통합 데이터 저장 - 비정형과 대량 데이터만 파이썬을 이용 추출하여 S3에 저장
분석 시스템 - 오라클로 분석, 레드 쉬프트로 데이터 가공, 분석
데이터 활용 - 경영 지표 관리, 고객 마케팅
2
AWS DMS를 이용한 DB 마이그레이션?
여러 차례 디비 이전하는 경우 DMS
원본과 직접 연결이 필요하다. 엔드포인트 생성
원본 데이터 베이스와 DMS가 중계하는 형태로 진행된다.
원본 데이터 베이스가 목적지로 복제된다.
여러 번 반복이 가능하다.
3
S3를 이용한 DB 마이그레이션?
네트워크가 단절된 경우 사용
해당 디비가 고객사에 없다.
직접 접속이 불가했다.
RDS에서 S3의 데이터 가져옴.
4
CDC방식 DB연속 복제?
DMS기반 CDC 적용하여 진행함.
CDC 적용 전 준비 사항?
원본 데이터 베이스 다이어트
초기 데이터 적재 등 준비
5
DMS기반 이기종 DB 마이그레이션 절차
단계 1. 스키마를 맞춰 진행
DMS에서 제공하는 SCT이기종 DB 마이그레이션
Schema Conversion Tool 사용
단계 2. 데이터 이전 , DMS이용
순서
PC에 SCT 설치 (SCT: 스키마 변환 툴)
SCT를 통한 스키마 변환 - 자동 및 수동
DMS 타깃 엔트포인트 생성
DMS전체 로드 태스크 생성
DMS 태스크 실행
<3> 제주항공- 컨테이너 기반
아마존 EKS 환경에서 디지털 채널 생성.
롤링 배포
<4> DevSecOps
빌드 배포 과정에서 보안 자동화를 구현하자.
Sonarqube 도입
<5> Cloud Migration - FinOps
1
Remove
안 쓰는 자원 찾아서 제거
EBS고아 볼륨, IOPS2 볼륨
2
Moving
저렴한 Storage로 이동(Glacier), Snapshot을 S3로 이동
3
Right Sizing
Utiliztion 확인하여 Size 조정, Auto Scaling
저렴한 Storage , CPU로 이동 , GP2-> GP3 , X86-> ARM , R3-> R5 , S3 -> Glacier
4
Re-Architecting
Serverless, Container 등 Cloud Native Atchitecture로 전환하여 효율 높임.
5
안 쓰는 시간에 끄기
Instance Scheduler on AWS
https://aws.amazon.com/ko/solutions/implementations/instance-scheduler-on-aws/
7
비용 절감
Reserved Instance , Savings Plan, 대량 구매 할인, 협상 요금, Spot Instance.
-> RI/SP 적용은 한 번에 많이 보다는 점진적 적용.
8
잘 알려지고 안정적인 워크로드?
Reserved Instance , Savings Plan 계약으로 진행
9
새로운, 예측불가 워크로드는?
On-Demand으로 사용
10
배치성, Fault-tolerant 워크로드는?
Spot Instance으로 사용
<6> 언터 프라이즈 클라우드 마이그레이션- 스마일 샤크, 리씽크 몰
1
아키텍처?
모바일-----CLOUD FRONT ---API GATEWAY---------람다----------Cloud Search , S3 , Dynamo DB , Aurora Serverless
2
단순함 유지 - 비즈니스 개발에 집중
서버리스 위주
베스트 프랙티스 검토
<7> 기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결
1
마이그레이션 규모와 전송 방식
Small / medium Scale?
Site-to-Site VPN
AWS Snowcone - 최대 14TB , 서울 리전 미출시
Large Scale?
Direct Connect - 포트당 최대 100GB 지원
Snowball Edge - 최대 80TB , 서울 리전 사용 가능
2
마이그레이션 대상 유형과 서비스
VM Machine?
Application Migration Service (클라우드 인듀어 서비스) - OS 자체를 마이그레이션, Lift and shift 방식
AWS DMS?
CDC(Change Data Cpature) 방식의 실시간 데이터 베이스 마이그레이션
이기종 데이터 베이스 마이그레이션이 가능
Export/import 대비 적은 다운 타임
File Storage?
DataSync - NFS, SMB 같은 공유 파일 시스템, S3, EFS , FSx
AWS Transfer Family - SFTP , FTPS 프로토콜 사용하여 스토리지로 마이그레이션
3
마이그레이션 방법 선택 :Online or Offline?
500TB - 1 Gbps = 58 Day , @Gbps = 29 Days
5PB - 10 Gbps = 58 Days
네트워크 대역폭이 2 Gbps 이상인 경우 , AWS Datasync온라인 마이그레이션 사용
4
마이그레이션 이슈 및 해결 방안 모음?
1. Guide Document로 해결
2. Knowledge Center
https://aws.amazon.com/ko/premiumsupport/knowledge-center/
3. Monitoring - CloudWatch metric
CloudWatch metric으로 확인 가능한 것?
데이터 싱크 - BytesTransferred - 전송된 데이터양 확인한다.
4. AWS Support로 문의
각 계정에서 진행 시 계정마다 티켓을 오픈한다.
오픈한 계정만 확인이 가능하다. Datasync경우 cloudwatch log 첨부하고 ec2 가 문제라면 해당 EC2의 인스턴스 ID를 적어 주세요. Chat서비스 가능 - 엔터프라이즈와 비즈니스 서포트만 가능 S
<8> 대규모 온프레미스 하둡 마이그레이션
1
마이그레이션 계획 및 절차?
비용 예측 및 최적화
클라스터 관리 및 보안
데이터 마이그레이션
ETL전환 및 검증
2
소프트웨어 전환?
기존에 구축된 하둡 소프트웨어는 오픈소스 소프트웨어 기반으로 제공 중
AWS는 모든 영역에서 준비된 서비스를 맞춰 제공한다.
3
비용 최적화?
아키텍처 전환, 컴퓨팅 최적화 , 클러스터 관리
4
아키텍처 전환?
컴퓨트와 스토리지 분리
스토리지 용량 최적화
5
성능 최적화?
EMR 최적화된 성능?
Apache Spark 3.1.2 보다 최대 3배 빠름, 오픈 소스 Presto 0.238 보다 2.6배 빠름
그라비톤 2 평균 11 % 성능 향상, 그라비톤 2 평균 25% 비용 절감
저장소 최적화?
성능을 위한 최적의 파일 포맷 선정 - Read 성능은 ORC나 Parquet가 빠르다.
애플리케이션 최적화?
Hive를 Spark으로 전환 - 처리시간 60% 이상 개선 , 비용 절감 60%
6
쿠팡 페이 사례?
80% 컴퓨팅 리소스 절감
클러스터 타입, 엔진 변경함.
하이브를 Spark로 변경 20% 절감
Hudi적용 - 인서트, 업데이트, 삭제 적용
7
금융사 사례?
87% 비용 절감
EMR hive로 변경 최대 85% 성능 향상
EMS Spark로 변경 최대 91% 성능 향상
<9> 한글과 컴퓨터 마이그레이션 - AWS MGN
1
AWS Application Migration Service (AWS MGN)?
물리적인 서버, 가상 서버들을 소스 서버를 이용해 AWS에서 가동되도록 해주는 서비스.
AWS로 이전하려는 소스 서버에 복제 에이젠트를 설치한다.
콘솔에서 복제 설정을 정의한다.
작은 사이즈의 EC2 인스턴스를 스테이징 서버로 사용한다.
스테이징은 소스 서버 및 AWS사이에서 데이터를 복제한다.
EBS볼륨만 생성한다. EC2 인스턴스를 가동하지는 않는다.
완료 후 EC2 가동한다.
2
MRA & MAP?
6개 영역 - 비즈니스, 거버넌스, 조직, 플랫폼, 운영, 보안을 평가, GAP분석 및 우선순위 과제 도출
70여 개 질문을 통해 인터뷰
마이그레이션 역량 분석
우선순위 과제 선정
3
AWS Control Tower?
모범사례 블루 프린트 기반의 사전 구성된 안전하고 확장 가능한 멀티 계정 AWS 환경 (랜딩존)
Master Account
Log archive Account
Audit Account
Provisoned account
4
AB 프로그램?
AWSome Builder(AB) 프로그램?
AWS에서 신규로 입사한 SA가 3개월간 가상의 고객을 가정하고, 요구사항을 SA입장에서 아키텍처링해서 구현하는 과정.
한컴에 제안함.
AWS Control Tower - 인프라팀 구현 , SCP 충족 등 확인
9개의 MVS 팀이 원하는 서비스 만듦 - 개발팀 구현
<10> 분석 워크로드 마이그레이션 - EMR , AWS SCT , DMS , OpenSearch
1
EMR?
컴퓨팅과 스토리지 분리
재해복구 내장
Spark, Hive, Presto 성능 개선
2
AWS SCT?
사용 데이터베이스 및 데이터 웨어하우스 스키마를 Amazon Redshift, RDS, Aurora와 같은 기타 네이티브 서비스로 변환합니다.
3
AWS Database Migration Service(DMS)?
AWS DMS는 데이터베이스와 데이터 웨어 하우스를 AWS로 쉽고 안전하게 마이그레이션 그리고 복제한다.
Redshift로 마이그레이션 하기
4
OpenSearch Service로 마이그레이션?
검증 및 계획, POC , 배포, 데이터 복사, 업데이트/동기화, 정리 /마무리
<11> 대용량 데이터베이스의 클라우드 네이티브로 전환
1
1차 제안 설루션?
DynamoDB
2
목적지향 데이터베이스 워크숍?
목적지향 데이터베이스 워크숍 소개 , AWS DB 서비스 소개
AWS DB Service 교육- Aurora, DynamoDB , DMS
Interactive Workshop - 고객 주도 워크로드 상세 설명, Q&A
3
전환?
DynamoDB , Aurora 2개 DB로 전환
4
아키텍처?
BP1--BP2------BP3 (샤딩)-------File upload , S3 ---- 람다 -- Mysql Shard (P0~P9)
2개 DB로 전환
데이터 중복 처리 - 다이나모 DB
Apache ShardingSphere 통해 데이터 분산 저장
Aurora mysql Shard (총 20대 , 오로라 10대, 리플리카 10대)
<12> SAP on AWS 마이그레이션
1
아키텍처?
SAP---- Extract, Transform, Load(ETL)(Amazon AppFlow , Glue, Lambda) -- Store(S3, S3 Glacier , Glue Data Catalog)-----Analyze(Red Shift, Athena , ElasticSearch)----Consume(QuickSight, SAP Analytics Cloud)
2
데이터 추출을 위해 AWS Glue, AWS Lambda , Amazon AppFlow SAP oDATA커넥터를 통해 SAP 애플리케이션은 데이터를 쉽게 추출할 수 있다.
S3, Glacier로 정형, 비정형 데이터를 저장한다.
레드쉬프트, 아테나, Elasticsearch로 분석한다.
AI 서비스도 제공한다.
모든 서비스가 API를 제공하므로 다양한 애플리케이션에서 사용 가능하다.
3
Bring Data from SAP into AWS?
SAP -------- Amazon AppFlow---S3--------Lambda, Redshift, Forecast, SageMaker
Amazon AppFlow SAP oDATA커넥터를 통해 SAP 애플리케이션은 데이터를 쉽게 추출할 수 있다.
Amazon AppFlow SAP oDATA커넥터를 통해 SAP ERP 및 DW에 레코스 생성 및 업데이트도 가능하다.
<13> Microsfot Workloads Migration
Rehost : VM Import/Export? , AWS Application Migration Service (MGN).
Rehost : End-of-Support Migration Program(EMP) for Windows Server
Replatform : App2 Container , Migration to RDS for SQL Server
Refactor : Porting Assistant for. NET , AWS Microservice Extractor For. NET
Refactor : Babelfish for Aurora Postgre SQL
<14> 마이그레이션과 함께 시작되는 Cloud Financial Management
1
비용 리포트 보기
심플하게 보기? 빌링 대시보드, PDF invoice
상세하게 보기? Bills , Cost explorer , AWS CUR 상세 정보
2
비용 최적화?
1. 맞는 인스턴스 사용 – 인스턴스에 맞는 워크로드 사용
Cloudwatch 사용
Compute Optimizer 사용 , 활성화 , 오버 프로리 저닝 선택해 확인해보자 , 그라비톤 인스턴스로 전환 대상도 확인 가능
Cost Explorer 권장 사항 사용 , 모두 보기 , 결과에서 추천되는 인스턴스 비용과 예상 사용률도 확인 가능하다.
Compute Optimizer - 모든 비용 권장사항. 성능에 맞는 거 찾을 때 유용하다.
Cost Explorer - 비용 절감 시에 초점을 맞추었다.
인스턴스 타입을 최신 타입으로 적용하면 가성비가 좋다.
EBS도 GP2 보다 GP3로 최신으로 사용하자.
2. 스케쥴링?
테스트성 서버는 주말에는 중지하자.
3. 스토리지 티어링?
S3 standard ---S3 Int-tier -----s3 S-IA ---- s3 One Zone -------Glacier
4. 요금제 변경법? 4가지 요금제가 있다.
온디멘드
RI - 약정 , 디스카운트 할인 쿠폰을 구매하는 것이다. T3에 적용되어 할인된 금액으로 처리된다. 특정 인스턴스에 종속 할인된다.
Savings plan - 약정 , 시간당 최저 얼마만큼 사용하겠다는 것이다. 서버 변경 폭이 높다. 유연성이 높다.
Spot - 데이터 센터에서 남는 인스턴스 사용. 잠시 종료되어도 되는 테스트성 사용
추천?
안정적 – RI , Savings plan
신규 앱 - Spot , 온디맨드
테스트 개발 - Spot
<15> CJ프레시웨이 All-in 클라우드 전환 사례
1
OS, 미들웨어, 데이터베이스를 오픈소스 기반으로 변경하는 리플릿 폼 방식 전환
웹 기반 Unix를 아마존 리눅스로, Java는 OpenJDK로 변경
컨테이너 서비스를 위한 ECS로 구축, Fargate기반 구축
Oracle 11g , Exadata를 RDS Oracle 19C와 Postgresql12로 전환
SAP의 Unix는 Oracle Linux(ERP)로 전환
2
전환 방향(싱글원)?
서비스 분리
ECS로 컨테이너로 전환
서버리스 서비스인 Fargate로 구성, CPU와 메모리를 세부적으로 적용. 자원 효율화
3
전환 방향(Exadata , 인스턴스 분리 / OSS DB)?
변경 전 : 통합 DB , ORACLE RAC로 이중화
변경 후 : Aurora postgreSQL로 전환 , 설루션으로 이기종 디비로 이전이 어려운 서비스는 RDS Oracle로 전환함. 디비 링크 문제 해결함. 비즈니스 로직도 변경 필요.
이기종 변환을 위한 SCT 제공하나 70% 전환율 , 개발자의 소스 변경 필요함.
4
전환 효과, 비용 절감?
오라클, 웹로직이 줄어듬.
전환 후 43% 비용 절감
1단계 오픈 후 최적화 작업으로 최종 50% 비용 절감
2단계를 라이선스 관련 비용 절감 예상함
<16> 클라우드 전문가 조직
1
기업 내 클라우드 전문가 조직(CEE)의 분류
2
규범형 접근 방식?
클라우드 프로젝트를 직접 감독 및 구현
마이그레이션 수행
1~3년 한시조직
전문 지식 제공
클라우드 시작하는 기업
3
자문형 접근 방식?
내부 주제 전문가 수행
아키텍처, 모범 사례 조언
반복 가능한 설루션과 표준 제공
프로젝트 구현을 가속화 하나 구현 책임은 없음.
클라우드에 익숙한 기업
4
클라우도 전문가 조직 구축 시작을 위한 5가지 활동?
팀 구축
트레이닝 및 코칭
파일럿 프로젝트
클라우드용 아키텍처
클라우드에서 운영
5
6개월 내 제공 핵심 서비스?
FinOps
클라우드 거버넌스
마이그레이션
플랫폼 구성 및 최적화
운영
프로세스 및 조직 변화 관리
6
성공 패턴?
경영진 후원
클라우드 운영 위원 해
프로젝트 관리조직
트레이닝
역동성
실용적인 거버넌스
초기 가치 제공
AWS Well-Architected Review 의무화
운영 연습
실천 공동체
7
실패 패턴?
구축만 하면 고객이 몰려올 것이라 믿음
중간 관리자의 힘을 과소평가
역량 강화 전략 부족
클라우드 전문가 조직을 엔터프라이즈 아키 태그로 배치
동일한 프로세스 및 툴 유지
개인 신용카드 사용
조직 및 문화 변화
<17> 누가 내 엔터프라이즈 고객을 클라우드로 옮겼을까? 마이그레이션 서비스 종류
1
데이터 마이그레이션 서비스?
S3, Glacier, EBs , EFS
Direct Connect
Storage Gateway
Kinesis
Snowball Edge
2
서버 마이그레이션 서비스(SMS)?
V2C (VM to AWS EC2 instance)
Cloud Endure
P2C (Pysical to AWS EC2 )
V2C(VM to AWS EC2)
3
데이터베이스 마이그레이션 서비스(DMS)?
SCT
4
애플리케이션 마이그레이션 서비스?
Applocation Portfolio Analysis
EKS, ECS Managed Platform
5
데이터센터 마이그레이션 서비스?
MAP
6
마이그레이션 패턴?
relocate (contailer / vmware cloud on aws)
rehost (lift & shift)
Re-platform
repurchase
refactor
retain
retire
7
마이그레이션 3단계?
진단 및 기본 계획 - 인벤토리 조사 , TCO 분석 , 마이그레이션 수행 능력 평가(MRA), 교육
구체적 사전 준비 - 포트폴리오 준비, 전환 준비, 인력 준비, 플랫폼 준비(랜딩존)
마이그레이션 및 최적화 - 마이그레이션 , 운영 & 최적화, 현대화
8
마이그레이션 초기 조사?
인벤토리 조사 - IDW
애플리케이션 패턴 분석 - ARA
마이그레이션 수행 능력 진단 - MRA
9
AWS 가격 할인
온디맨드
RI/SP
EDP - 약정을 통한 할인 가격
MAP - 대규모 마이그레이션의 경우 사전 약정 할인
MAP2.0 - 대규모 마이그레이션의 경우 사전 약정 없이 마이그레이션 한 만 큰 크레디트로 돌려받아 비용 절감
<100> 자세히 보기
1
https://brunch.co.kr/@topasvga/2667
2
참고 동영상
https://kr-resources.awscloud.com/
3
각 기업별 내용 상세
https://brunch.co.kr/@topasvga/2641
4
다음 과정
https://brunch.co.kr/@topasvga/2873
감사합니다.
