598. EMR, S3, DynamoDB 사용

이론, 개념잡기

EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기

EMR로 S3와 DynamoDB 간  데이터를 업로드해보자~

<1> 결과 s3 생성

<2>  EMR  Hive 생성, 다이나모 DB 생성

<3>  command-host ec2 생성과 emr master  접속

<4>  참조 테이블 생성

<5> Hive  이용하여 DynamoDB에 업로드

<6> 쿼리 해보기

<7>  DynamoDB 데이터를  S3에 업로드

<8> S3에서 업로드된 데이트 확인

<1> 결과 s3 생성

dynamodb-bucket-seo1234

<2>  EMR Hive 생성, 다이나모 DB 생성

1

EMR Hive 생성

https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

EMR Master 보안그룹에 ssh 허용 필요

0.0.0.0/0  22

2

다이나모 DB 생성

테이블 이름

table1

파티션 키 지정

id1

Customize setting으로 변경 

Read off 100

Write off 100

생성

참고

다이나모 디비 생성 시 읽기와 쓰기를 지정해야 한다.

RI구매 시에도  읽기와 쓰기 별도 구매를 해야 한다.

<3>  command-host ec2 생성과 emr master  접속

EMR Master에 접속하기

1

테스트emr을 public에 설치한 경우 직접 접속

or

2

테스트 emr은 private에 설치한 경우, command-host ec2 접속후 emr master  접속

export ID=$(aws emr list-clusters | jq '.Clusters[0].Id' | tr -d '"')

export HOST=$(aws emr describe-cluster --cluster-id $ID | jq '.Cluster.MasterPublicDnsName' | tr -d '"')

ssh -i   ~/EMRKey.pem hadoop@$HOST

yes

<4> 참조 테이블 생성

1

sudo chown hadoop -R /var/log/hive

mkdir /var/log/hive/user/Hadoop

hive

2

SET 

dynamodb.throughput.read.percent=1.0

;

3

S3 외부 테이블 생성

DynamoDB 외부 테이블 생성

<5> Hive  이용하여 DynamoDB에 업로드

<6> 쿼리 해보기

<7>  DynamoDB 데이터를  S3에 업로드

<8> S3에서 업로드된 데이트 확인

https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

감사합니다.