600. EMR Monitoring을 통한 상태 모니터
<1> EMR Monitoring 을 통한 상태 점검하기
<2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시 idle timeout을 60분으로 변경
<3> EMR에서 Hue and Pig 사용하는 법
<1> EMR Monitoring 을 통한 상태 점검하기
1
서비스 > EMR > Monitoring 에서 원하는 지표 확인
2
유휴 점검?
EMR > Monitoring > Cluster status
isIdle
일정기간 유휴면 알람을 받게 할수 있다.
3
node 상태 확인 ?
EMR > Monitoring > Node status
4
스토리지 부족 확인?
EMR > Monitoring > IO > HDFS Utilzation
HDFS Utilzation 점검 (HDFS 사용률 점검한다.)
70% 이상이면 클러스트 크기 조정 과 코어 노드 추가
<2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시 idle timeout을 60분으로 변경
1
서비스 > System Manager
2
Node Management > Session Manager > Configure Preferences > edit >
Idle session time out : 60minutes > SAVE
<3> EMR에서 Hue and Pig 사용하는 법
1
구성 ?
EMR (Hue and Pig ) ----------------- S3
2
EMR 에서 Hue 설치와 연결 ?
계정 생성 ?
Username
Password
Create account
3
S3 버킷 생성?
seo-pig-1
New > Directory > out 생성
New > Directory > script 생성
스크립트 올리기 또는 생성
실행
4
정리?
EMR 에 S3에 pig 스크립트를 올린다.
https://brunch.co.kr/@topasvga/1766
감사합니다
