424. 데이터싱크 ,스토리지 게이트웨이
by
Jul 26. 2020
IDC 서버 클라이언트 파일을 데이터 싱크로 S3로 이전 하기
IDC 서버 클라이언트 파일을 스토리지 게이트웨이로 이전 하기
1번째 구성
Client ------- NFS 서버 ---------- DataSync 서버 ----------- S3 스토리지
<1> IDC 의 NFS 서버 접속 하기
<2> DataSync 인스턴스 생성
<3> 데이터 싱크 만들기
<4> 같이 보면 좋을 자료
2번째 구성
Client ------- 스토리지 게이트웨이 --------------------------- S3 스토리지
<4> 스토리지 게이트 웨이
<5> NFS 공유하기
qx
1번째 솔루션
<1> IDC 의 NFS 서버 접속 하기
1
Client Public IP 접속하기
IDC 의 NFS 공유서버를 클라이언트에서 마운트 하기
sudo mount NfsServerPrivateIp:/var/nfs /mnt/nfs
sudo mount 10.10.2.250:/var/nfs /mnt/nfs
df -h
sudo cp /data/DataSync/*.* /mnt/nfs
2
NFS 서버에 접속하기
ls /var/nfs
클라이언트 자료가 NFS 서버에 복사되어 있다.
<2> DataSync 인스턴스 생성
1
서비스 > EC2 > 커뮤니티 AMI > aws-datasync > 가장 높은 번호의 서버 선택 >
t2.xlarge > 공인 IP 할당 > 태그
Name
DataSync agent
보안그룹
in : 80
out : tcp 443 , tcp 2049 (자신 /24 네트워크에서 나가는 NFS 통신)
존재하는 키 사용
설치
사설 IP 복사해놓기
10.10.2.249
서버 공인 IP ,
52.53.227.33
2
서비스 > DataSync > 시작하기 > EC2 > 에이전트 주소 입력 > 키 얻기
HVLJ2-KAS6D-IUGHG-10JL8-G1NFT
에이전트 이름
NFS DataSync agent
에이전트 생성하기
<3> 데이터 싱크 만들기
1
NFS서버
sudo vi /etc/exports
/var/nfs DataSyncAgentIp(rw,fsid=2,sync,no_subtree_check)
/var/nfs 10.10.1.62(rw,fsid=1,sync,no_subtree_check)
변경후
데이터싱크 서버 사설 IP로 변경
/var/nfs 10.10.2.249(rw,fsid=1,sync,no_subtree_check)
2
변경 활성화
sudo exportfs -a
3
콘솔 데이터 싱크 페이지 > 테스크 만들기 > 새위치 > NFS 선택
에이전트
NFS 서버 사설 IP
/var/nfs
4
s3 선택
버킷 선택
IAM 역할 선택
테스크 생성 완료
5
서비스 > S3 > NFS 버킷 찾기 > 클라이언트의 파일들이 올라와 있다.
2번째 솔루션
<4> 스토리지 게이트 웨이
1
서비스 > 스토리지 게이트웨이 > 파일 게이트웨이 > EC2 선택 : 인스턴스 실행
t2.xlarge > 서버 서브넷 , 공인 IP > 스토리지 150 >
Name
File Gateway appliance
보안 그룹
인바운드
HTTP TCP 80 은 Any에서 허용
NFS TCP 2049 는 IDC IP 블럭 허용
아웃바운드
스토리지 게이트웨이와 통신하기 위해 443 허용
NFS 와 통신하기 위해 TCP 2049 허용하기
생성하기
2
File 게이트웨어 EC2가 생긴다.
서버 IP를 복사해 놓는다.
10.10.2.127
54.215.231.80
3
콘솔의 스토리지 게이트웨이 화면으로 간다.
다음 > 퍼블릭 > 퍼블릭 게이트웨이 IP입력한다 >
표준시간대 서울로 입력 ,
file gateway
라고 입력한다.
// 오류
파일 공유를 생성하기 전에 로컬 캐시 스토리지를 구성해야 합니다.
4.
로깅 구성
참고
스토리지 게이트웨이 구축하기
https://brunch.co.kr/@topasvga/844
<5> NFS 공유하기
1
서비스 > 스토리지 게이트웨이 > 파일 공유 생성 >
2
sudo umount -f /mnt/nfs
3
sudo mount -t nfs -o nolock,hard 10.10.2.33:/nfs-bucket-ql-23453634245 /mnt/nfs
4
df -h
ls /mnt/nfs
5
sudo cp /data/FileGateway/*.* /mnt/nfs
6
서비스 > S3 > 버킷이름 클릭
<4> 같이 보면 좋을 자료
https://brunch.co.kr/@topasvga/1762
