brunch

You can make anything
by writing

- C.S.Lewis -

by Master Seo Jun 13. 2020

405. Amazon Redshift 사용해보자

실습,Amazon Redshift 구축

<> 목표

Amazon Redshift를 만들고 사용해보자.

DW (Data  Wherehouse)이다.

s3에서  Redshift로 데이터 올리고, SQL 클라이언트에서 Redshift로 쿼리 하자.

Redshift 성능 모니터링 하자


구성

데이터 --------- S3 ------- Amazon Redshift   ----------  sql 클라이언트 (쿼리)



<1>  Amazon Redshift  클러스터 만들기

<2>  Amazon  Redshift  연결하기

<3>  데이터 올리기

<4> 쿼리 실행시키기

<5> 테이블 조인하기

<6> 성능 분석

<7> Amazon Redshift 모니터링 하기




<1> Amazon  Redshift  클러스터 만들기


1

Amazon Redshift  >  클러스터 만들기

seo-rs1

DC2  : dc2.large   

Nodes  : 2


2

데이터 베이스 이름

lab

master

master123A

// The parameter MasterUserPassword must contain at least 1 upper case letter.


3

클러스터 권한  >   Redshift-role  선택 > IAM역할 추가

// Role 이 필요하다.

{

    "Version": "2012-10-17",

    "Statement": [

        {

            "Action": "s3:*",

            "Resource": "*",

            "Effect": "Allow"

        }

    ]

}


4

default를 사용하지 않는 것으로 변경한다.

네트워크 및 보안  >  사용 VPC  > 


5

SG그룹  > 기본값 제거  >  Redshift  보안 TCP 5439  0.0.0.0/0 >  클러스터 생성


6

속성 > endpoint  복사


// 그림으로 보기




<2>  Amazon Redshift  연결하기


1

클라이언트 에서 


2

host는   Redshift    콘솔에서 확인하라.  endpoint 수정 (아래 참고)

master

master123A

lab

5439 (포트 변경)


// host 주소는 :5439/lab 삭제

seors.xxxxxxxxxxxxx.us-west-2.redshift.amazonaws.com:5439/lab

=> seors.xxxxxxxxx.us-west-2.redshift.amazonaws.com


3

웹 접속

:5439/lab  제거    >   . com으로 변경 접속





<3> S3에서 Amazon Redshift로  데이터 올리기


1

Amazon Redshift  테이블 만들기 

클라이언트에서 run query

//  코드



S3 data -> Redshift  올리기 

// 코드 입력

// INSERT-YOUR-REDSHIFT-ROLE  대신에  redshiftrole 값 입력.

쿼리 실행




<4> 쿼리 실행시키기


1

SELECT COUNT(*) FROM flights;

결과 레코더 나옴.

레코더 수 나옴.  엄청 올라 갔다!



2

데이터 보기

SELECT * FROM flights ORDER BY random() LIMIT 10;



참고

https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/tutorial-loading-data.html

감사합니다.

매거진의 이전글 404. OpsWorks 사용해 보자

매거진 선택

키워드 선택 0 / 3 0

댓글여부

afliean
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari