brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Jul 26. 2020

424.  데이터싱크 ,스토리지 게이트웨이

IDC 서버 클라이언트 파일을  데이터 싱크로  S3로 이전 하기

IDC 서버 클라이언트 파일을  스토리지 게이트웨이로 이전 하기



1번째 구성

Client   ------- NFS 서버  ----------   DataSync  서버 -----------   S3 스토리지



<1>  IDC 의  NFS 서버 접속 하기

<2>  DataSync 인스턴스 생성

<3>  데이터 싱크 만들기

<4> 같이 보면 좋을 자료



2번째 구성

Client   ------- 스토리지 게이트웨이 ---------------------------   S3 스토리지

<4>  스토리지 게이트 웨이

<5>  NFS 공유하기


qx



1번째 솔루션


<1>  IDC 의  NFS 서버 접속 하기


1

Client Public IP 접속하기


IDC 의 NFS 공유서버를 클라이언트에서 마운트 하기


sudo mount NfsServerPrivateIp:/var/nfs /mnt/nfs


sudo mount 10.10.2.250:/var/nfs /mnt/nfs



df -h



sudo cp /data/DataSync/*.* /mnt/nfs



2

NFS 서버에 접속하기


ls /var/nfs


클라이언트 자료가  NFS  서버에 복사되어 있다.






<2>  DataSync 인스턴스 생성


1

서비스 > EC2  >  커뮤니티  AMI   > aws-datasync  >  가장 높은 번호의 서버 선택 >

t2.xlarge   >    공인 IP  할당 > 태그

Name

DataSync agent

보안그룹

in : 80

out : tcp 443 ,  tcp 2049  (자신 /24 네트워크에서 나가는 NFS 통신)

존재하는 키 사용

설치



사설 IP 복사해놓기

10.10.2.249


서버 공인 IP  ,

52.53.227.33


2

서비스 >   DataSync >   시작하기 >    EC2 >    에이전트 주소  입력 >   키 얻기

HVLJ2-KAS6D-IUGHG-10JL8-G1NFT



에이전트 이름

NFS DataSync agent

에이전트 생성하기


                    



<3>  데이터 싱크 만들기


1

NFS서버


sudo vi /etc/exports

/var/nfs DataSyncAgentIp(rw,fsid=2,sync,no_subtree_check)

/var/nfs 10.10.1.62(rw,fsid=1,sync,no_subtree_check)


변경후

데이터싱크 서버 사설  IP로 변경

/var/nfs 10.10.2.249(rw,fsid=1,sync,no_subtree_check)



2

변경 활성화

sudo exportfs -a


3

콘솔   데이터 싱크 페이지  >   테스크 만들기  > 새위치 > NFS  선택

에이전트

NFS 서버  사설 IP

/var/nfs


4

s3  선택

버킷 선택

IAM 역할 선택



테스크 생성  완료



5

서비스 > S3  >   NFS 버킷 찾기  >   클라이언트의 파일들이 올라와 있다.







2번째 솔루션


<4>  스토리지 게이트 웨이


1

서비스 > 스토리지 게이트웨이 >   파일 게이트웨이  >    EC2 선택   : 인스턴스  실행

t2.xlarge >   서버 서브넷 , 공인  IP > 스토리지 150 >

Name

File Gateway appliance

보안 그룹

인바운드

HTTP   TCP 80 은  Any에서 허용

NFS   TCP 2049  는  IDC IP 블럭 허용

아웃바운드

스토리지 게이트웨이와 통신하기 위해 443 허용

NFS 와 통신하기 위해  TCP 2049   허용하기

생성하기


2

File 게이트웨어  EC2가 생긴다.

서버  IP를 복사해 놓는다.

10.10.2.127

54.215.231.80



3

콘솔의 스토리지 게이트웨이 화면으로 간다.

다음 > 퍼블릭 >  퍼블릭 게이트웨이  IP입력한다 >   

표준시간대 서울로 입력 ,

file gateway

라고 입력한다.


// 오류

파일 공유를 생성하기 전에 로컬 캐시 스토리지를 구성해야 합니다.



4.

로깅 구성


참고

스토리지 게이트웨이 구축하기

https://brunch.co.kr/@topasvga/844




<5>  NFS 공유하기


1

서비스 > 스토리지 게이트웨이 >  파일 공유 생성 >


2

sudo umount -f /mnt/nfs


3

sudo mount -t nfs -o nolock,hard 10.10.2.33:/nfs-bucket-ql-23453634245 /mnt/nfs


4

df -h


ls /mnt/nfs


5

sudo cp /data/FileGateway/*.* /mnt/nfs



6

서비스 > S3  >  버킷이름  클릭




<4> 같이 보면 좋을 자료


https://brunch.co.kr/@topasvga/1762


감사합니다.


매거진의 이전글 423. EBS 디스크추가하기
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari