네이버1탄-하둡 생성-18/24

<1> 하둡에서 사용할 Object  스토리지를 만들자

<2> 하둡 생성

<3> Zeppelin 노트북으로 접속해 사용 하자

<4> 하둡 하루 사용 비용 - 4만 3천원

<1> 하둡에서 사용할 Object  스토리지를 만들자

game-hadoop-bucket

<2> 하둡 생성

1

Cloud Hadoop 

game-hadoop

2

클러스터 버전  Cloud Hadoop 1.4로 변경

Spark  

커버로스 인증 구성은 사용하지 않음.  체크 해제

hadoop

 g1A

3

Object Storage 버킷 선택

앳지 노드  Subnet = Public

마스터 노드 Subnet = Public

작업자 노드  Subnet = Private

구성은?

사용자 ------ 앳지노드 --------- 마스터 노드-------- 작업자 노드로 구성된다.

앳지노드를 통해 관리를 하는것이다.

4

생성에 30분은 걸림

5

생성중

<3> Zeppelin 노트북으로 접속해 사용 하자

1

우선 하둡의 ACG에 내 PC IP를 허용한다.

Zeppelin 노트북으로 접속 하기 위해

Server > ACG 에서 9996 포트 허용

디폴트로 Hadoop-acg가 만들어진 부분을 수정한다.

2

다시 Cloud Hadoop > Application별 보기 >  zeppein 노트북 사용

3

하둡 만들때 생성한 계정과 암호로 접속

4

제플린 노트북으로 데이터 분석을 할수 있다.

<4> 하둡 하루 사용 비용 - 4만 3천원

하루에 4만 3천원

중지 시켜 놓으면 비용이 적게 나온다. 쿠버네티스 정지 시켜 놓았더니 적게 나왔다.

사용하지 않으면 삭제 하는게 가장 좋다.

다음은 Private DB 이중화를 위해  Proxy LB를 사용해보자

https://brunch.co.kr/@topasvga/2064

66. Private LB로 DB 부하 분산-19/25

감사합니다.