brunch

You can make anything
by writing

- C.S.Lewis -

by Master Seo Jul 26. 2020

424.  데이터싱크 ,스토리지 게이트웨이

IDC 서버 클라이언트 파일을  데이터 싱크로  S3로 이전 하기

IDC 서버 클라이언트 파일을  스토리지 게이트웨이로 이전 하기



1번째 구성

Client   ------- NFS 서버  ----------   DataSync  서버 -----------   S3 스토리지

<1>  IDC 의  NFS 서버 접속 하기

<2>  DataSync 인스턴스 생성

<3>  데이터 싱크 만들기




2번째 구성

Client   ------- 스토리지 게이트웨이 ---------------------------   S3 스토리지

<4>  스토리지 게이트 웨이

<5>  NFS 공유하기


qx



1번째 솔루션


<1>  IDC 의  NFS 서버 접속 하기


1

Client Public IP 접속하기


IDC 의 NFS 공유서버를 클라이언트에서 마운트 하기


sudo mount NfsServerPrivateIp:/var/nfs /mnt/nfs


sudo mount 10.10.2.250:/var/nfs /mnt/nfs



df -h



sudo cp /data/DataSync/*.* /mnt/nfs



2

NFS 서버에 접속하기


ls /var/nfs


클라이언트 자료가  NFS  서버에 복사되어 있다.






<2>  DataSync 인스턴스 생성


1

서비스 > EC2  >  커뮤니티  AMI   > aws-datasync  >  가장 높은 번호의 서버 선택 >

t2.xlarge   >    공인 IP  할당 > 태그

Name

DataSync agent

보안그룹

in : 80

out : tcp 443 ,  tcp 2049  (자신 /24 네트워크에서 나가는 NFS 통신)

존재하는 키 사용

설치



사설 IP 복사해놓기

10.10.2.249


서버 공인 IP  ,

52.53.227.33


2

서비스 >   DataSync >   시작하기 >    EC2 >    에이전트 주소  입력 >   키 얻기

HVLJ2-KAS6D-IUGHG-10JL8-G1NFT



에이전트 이름

NFS DataSync agent

에이전트 생성하기


                    



<3>  데이터 싱크 만들기


1

NFS서버


sudo vi /etc/exports

/var/nfs DataSyncAgentIp(rw,fsid=2,sync,no_subtree_check)

/var/nfs 10.10.1.62(rw,fsid=1,sync,no_subtree_check)


변경후

데이터싱크 서버 사설  IP로 변경

/var/nfs 10.10.2.249(rw,fsid=1,sync,no_subtree_check)



2

변경 활성화

sudo exportfs -a


3

콘솔   데이터 싱크 페이지  >   테스크 만들기  > 새위치 > NFS  선택

에이전트

NFS 서버  사설 IP

/var/nfs


4

s3  선택

버킷 선택

IAM 역할 선택



테스크 생성  완료



5

서비스 > S3  >   NFS 버킷 찾기  >   클라이언트의 파일들이 올라와 있다.







2번째 솔루션


<4>  스토리지 게이트 웨이


1

서비스 > 스토리지 게이트웨이 >   파일 게이트웨이  >    EC2 선택   : 인스턴스  실행

t2.xlarge >   서버 서브넷 , 공인  IP > 스토리지 150 >

Name

File Gateway appliance

보안 그룹

인바운드

HTTP   TCP 80 은  Any에서 허용

NFS   TCP 2049  는  IDC IP 블럭 허용

아웃바운드

스토리지 게이트웨이와 통신하기 위해 443 허용

NFS 와 통신하기 위해  TCP 2049   허용하기

생성하기


2

File 게이트웨어  EC2가 생긴다.

서버  IP를 복사해 놓는다.

10.10.2.127

54.215.231.80



3

콘솔의 스토리지 게이트웨이 화면으로 간다.

다음 > 퍼블릭 >  퍼블릭 게이트웨이  IP입력한다 >   

표준시간대 서울로 입력 ,

file gateway

라고 입력한다.


// 오류

파일 공유를 생성하기 전에 로컬 캐시 스토리지를 구성해야 합니다.



4.

로깅 구성


참고

스토리지 게이트웨이 구축하기

https://brunch.co.kr/@topasvga/844




<5>  NFS 공유하기


1

서비스 > 스토리지 게이트웨이 >  파일 공유 생성 >


2

sudo umount -f /mnt/nfs


3

sudo mount -t nfs -o nolock,hard 10.10.2.33:/nfs-bucket-ql-23453634245 /mnt/nfs


4

df -h


ls /mnt/nfs


5

sudo cp /data/FileGateway/*.* /mnt/nfs



6

서비스 > S3  >  버킷이름  클릭



감사합니다.


매거진의 이전글 423. EBS 디스크추가하기

매거진 선택

키워드 선택 0 / 3 0

댓글여부

afliean
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari