15탄-기술 지원 사례로 알아보는 마이그레이션 이슈 및
기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음
AWS 스토리지 스페셜 리스트
AWS Techncal Account Manager
AWS Cloud Support Engineer
<1> 클라우드 마이그레이션 이유?
<2> 마이그레이션 규모와 전송 방식 - small/medium?
<3> 마이그레이션 대상 유형과 서비스
<4> 대표적인 마이그레이션 사례
<5> 스노 서비스?
<6> DataSync 서비스 - 온라인 마이그레이션
<7> FSx for NetApp ONTAP
<8> 마이 레이션 시 발생하는 문제와 해결 방안
<9> 마이 레이션 시 발생하는 문제 해결 법?
<1> 클라우드 마이그레이션 이유?
1
민첩성?
기존에 구매, 발주, os, 애플리케이션 설치 등 시간이 많이 걸린다.
2
비용 절감?
사용한 만큼만 지불
3
AWS 사용하는 이유?
가장 많은 마이그레이션 경험.
<2> 마이그레이션 규모와 전송 방식 - small/medium ?
1
마이그레이션 규모와 전송 방식 - small/medium
aws site-to-site vpn
aws snowcone
최대 14 TB , 서울 리전 미출시 , AWS 콘솔에서 신청.
2
마이그레이션 규모와 전송 방식 - Large?
AWS Direct Connect - 전용선
포트당 최대 10GB 지원
AWS Snowbal Edge
최대 80TB, 서울 리전 사용 가능
<3> 마이그레이션 대상 유형과 서비스
1
VM?
AWS Application Migration Service
클라우드 인듀어 서비스이다.
OS 자체를 마이그레이션
기존 이미지를 그대로 떠서 마이그레이션.
2
데이터 베이스?
AWS Database Migration Service(AWS DMS)
CDC(Change Data Capture) 방식의 실시간 데이터베이스 마이그레이션
이기종 데이터베이스 마이그레이션 가능
실시간 복제 가능, 증분만도 가능.
Export/Import 대비 적은 다운 타임 시간
3
File 이전?
AWS DayaSync
AWS Transfer Family
AWS DayaSync
일반 파일에 대해 이전
온프라미스의 공유 파일 시스템들을 AWS의 S3, EFS, FSx 같은 스토리지로 마이그레이션
AWS Transfer Family
SFTP, FTPS 사용해 아마존 스토리지로 마이그레이션
<4> 대표적인 마이그레이션 사례
1
온라인 쇼핑몰 이전
NAS 공유 스토리지
무수히 많은 파일
스노볼, 데이터 싱크 사용
2
빅데이터 이전
Posix 방식이 아닌 HDFS분산 저장
반정형 로그 데이터(csv, parquet)
스노볼, 데이터 싱크 사용
3
제조 아카이빙
제품 생산과정에서 발생하는 이미지와 로그
수백TB, PB 용량
인터넷망 분리
스노볼
<5> 스노 서비스?
1
스노볼 에지 (서울 지원)
80 테라바이트
S3/NFS 호환 스토리지
스노콘
14 테라 바이트(서울 미지원)
소노우 모바일 (서울 미지원)
트럭으로 이동 서비스
페타 바이트 이전
2
사례?
리테일 업체
150TB HDFS 용량
EMR로 전환
평균 파일 5 M
목적지 S3
제조업체
NAS 1.6TB
평균 300KB
목적지 S3
3
작은 파일 이동법?
압축하여 이전 필요.
S3 제약 주의 바람
최대 경로 , 파일 이름 : 1025 바이트
오브젝트 최대 크기 5TB
기본 스탠더드로 이동됨.
딥 아카이브로 전환되도록 해야 함
<6> DataSync 서비스 - 온라인 마이그레이션
1
온프라미스 서버에 데이터 싱크 에이전트 설치
소스 : NFS, SMB, HDFS 지원
AWS 스토리지 S3, EFS , FSx
특정 시간에 자동 시작하는 스케줄링 기능 제공
테스트 별 대역폭 조절 가능
2
내비게이션 업체
2.2 페타 HDFS
10기가 디렉트 커넥션
목적지 S3
온라인 쇼핑폴
35TB
개별 파일
클라우드로
목적지 S3
3
수억 개의 파일 증분 백업 시 비교로 비용이 많이 나오는 경우 발생하니 이 부분 고려 필요.
<7> FSx for NetApp ONTAP
클라우드에서 NetApp ONTAP을 그대로 사용하고자 하는 경우
1
멀티 프로토콜 접근 지원 ( SMB + NFS+ iSCSI)
데이터 싱크가 아직 FSx for NetApp ONTAP 미지원
2
네트워크 전송 시?
스냅 미러 버전 호환 주의
스냅 미러라는 블록 레벨 스토리지 동기화 설루션 - 별도 라이선스 없이 사용 가능.
rsync, robocopy 등 사용 가능
3
오프라인 전송 시?
스노볼, 데이터 싱크
온프라미스 -> s3 -> FSx for NetApp ONTAP으로 작업 필요.
4
FSx for NetApp ONTAP 고려 사항?
별도 네트워크 대역 필요.
<8> 마이 레이션 시 발생하는 문제와 해결 방안
1
성능/속도 문의?
기간 내 이전 필요
네트워크 병목?
디렉트 커넥트 대역폭
vpn
인터넷
사내 인프라넷 대역폭
nic
서버 cpu, MEM, DISK 성능도 중요함
2
권한 문의?
iam
s3 버킷 정책
scp
디렉트 서비스 (사용자 비밀번호 만료 기간 주의)
레이크 포메이션 ( 특정 데이터베이스의 칼럼 레벨을 제한할 수 있다. 하둡 마이그레이션 시 고려)
3
To-Be 아키텍처 확인?
S3, EFS, EBS , FSx for NetApp ONTAP
사용량 체크
라이프 사이클 데이터 이동 가능 - 비용 절감 방법
성능 through
쿼터 고려
<9> 마이 레이션 시 발생하는 문제 해결 법?
Guide Document로 해결
Knowledge Center
Monitoring - CloudWatch metric
AWS Support로 문의
1
Guide Document로 해결
https://docs.aws.amazon.com/
2
Knowledge Center
https://aws.amazon.com/ko/premiumsupport/knowledge-center/
3
Monitoring - CloudWatch metric
CloudWatch metric으로 확인 가능한 것?
데이터 싱크 - BytesTransferred - 전송된 데이터량 확인한다.
4
AWS Support로 문의
각 계정에서 진행 시 계정마다 티켓을 오픈한다. 오픈한 계정만 확인이 가능하다.
datasync경우 cloudwatch log 첨부하고 ec2 가 문제라면 해당 EC2의 인스턴스 ID를 적어 주세요.
Chat 서비스 가능 - 엔터프라이즈와 비즈니스 서포트만 가능
다음
https://brunch.co.kr/@topasvga/2649
