brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Dec 15. 2021

600. EMR Monitoring을 통한 상태 모니터


<1> EMR   Monitoring  을 통한 상태 점검하기  

<2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시  idle timeout을 60분으로 변경

<3>  EMR에서 Hue and Pig  사용하는 법




<1> EMR   Monitoring  을 통한 상태 점검하기  



1

서비스 >  EMR >  Monitoring    에서 원하는 지표 확인


2

유휴 점검?

EMR >  Monitoring > Cluster status 


isIdle  

일정기간 유휴면 알람을 받게 할수 있다.




3

node  상태 확인 ?

EMR >  Monitoring  >  Node status 





4

스토리지 부족 확인?

EMR >  Monitoring  > IO   >  HDFS Utilzation


HDFS Utilzation 점검  (HDFS  사용률 점검한다.)

70% 이상이면  클러스트 크기 조정 과 코어 노드 추가







<2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시  idle timeout을 60분으로 변경


1

서비스 > System Manager 


2

Node Management >  Session Manager >  Configure Preferences > edit  >

Idle session time out :  60minutes  > SAVE







<3>  EMR에서 Hue and Pig  사용하는 법


1

구성 ?

EMR (Hue and Pig )  ----------------- S3


2

EMR 에서 Hue  설치와 연결 ?


계정 생성 ?

Username 

Password

Create account


3

S3  버킷 생성?

seo-pig-1

New  > Directory > out  생성

New  > Directory > script  생성

스크립트 올리기 또는 생성


실행


4

정리?


EMR 에 S3에 pig 스크립트를 올린다.




https://brunch.co.kr/@topasvga/1766


감사합니다 

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari