brunch

You can make anything
by writing

- C.S.Lewis -

by Master Seo Jun 13. 2020

405. Redshift 사용해보자

<1> 목표

Redshift를 만들고 사용해보자.

DW(Data  Wherehouse)이다.


s3에서  Redshift로 데이터 올리고

SQL 클라이언트에서 Redshift로 쿼리 하자.

Redshift 성능 모니터링 하자

r-x



구성

데이터 ------------- S3 ------- Redshiff    ----------  sql 클라이언트 (쿼리)



<1>  Redshift  클러스터 만들기

<2>  Redshift  연결하기

<3>  데이터 올리기

<4> 쿼리 실행시키기

<5> 테이블 조인하기

<6> 성능 분석

<7> Redshift 모니터링 하기




<1>  Redshift  클러스터 만들기


Redshift  > 시작   > 클라스터 > 클러스터 만들기

seors

DC2  : dc2.large   >  Nodes  : 2



데이터 베이스 이름

seors

master

seors123


클러스터 권한  >   Redshift-role  선택 > IAM역할 추가

// Role 이 필요하다.


default를 사용하지 않는 것으로 변경한다.

네트워크 및 보안  >  사용 VPC  > 

SG그룹  > 기본값 제거  ,  Redshift  디폴트 그룹 >  클러스터 생성


// 5분 걸림.


속성 > ENDpoint  복사

//




<2>  Redshift  연결하기


1. 최초 제공한  pgweb ip 복사  

// 웹브라우저에서 ip로 접속


host는   Redshift    콘솔에서 확인하라.  endpoint 수정 (아래 참고)

master

seors123

seors

5439  (포트 변경)

포트 변경  안되면 SSL disable 후  포트 변경


// endpoint 수정

seors.xxxxxxxxxxxxx.us-west-2.redshift.amazonaws.com:5439/lab

=> seors.xxxxxxxxx.us-west-2.redshift.amazonaws.com


웹 접속

:5439/lab  제거    >. com으로 변경 접속




<3> S3에서 Redshift로  데이터 올리기




1. Redshift  테이블 만들기 

pgweb

run query

//  코드



2.  S3 data -> Redshift 

2번째 코드

// 코드 입력

// INSERT-YOUR-REDSHIFT-ROLE  대신에  redshiftrole 값 입력.

run query


5분 후.




<4> 쿼리 실행시키기


1

SELECT COUNT(*) FROM flights;

결과 레코더 나옴.


2

데이터 보기

SELECT * FROM flights ORDER BY random() LIMIT 10;


3

데이터 보기 2

SELECT carrier, SUM (departures) FROM flights GROUP BY carrier ORDER BY 2 DESC LIMIT 10;



<5> 테이블 조인하기


테이블 생성  

//코드



쿼리

//코드


  

쿼리


//코드




<6>  성능 분석



쿼리


//코드




Explain plan


// 코드




분석 


ANALYZE COMPRESSION flights;







<7> Redshift  Console 모니터링 하기


1

Clustet     >  lab  > query monitoring   >  query and loads   >  loads

Query job click >  copy flights from 

query plan 탭


2

Clustet     >  lab  >  cluster performance >  maintenanced and monitoring > cloudwatch alarms


3

backup 탭


감사합니다.














매거진의 이전글 404. OpsWorks 사용해 보자

매거진 선택

키워드 선택 0 / 3 0
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari