434. EMR로 google Books분석
EMR 클러스터를 생성 실습
EMR (Elastic MapReduce ) , 관리형 하둡 프레임워크
큰그림
아마존 빅데이터 솔루션중 하나인 EMR 클러스터를 생성
Hive를 실행하여 S3 스토리지에 저장된 데이터에 대한 테이블 생성
Hive를 실행해 원하는 데이터를 확인한다.
<1> EMR 클러스터 생성
<2> EMR 클러스터 연결하기
<3> 데이터 분석하기
<1> EMR 클러스터 생성
1
EMR > 클러스터 생성 > 고급으로 이동
소프트웨어 구성 (Hive 2.3.7 )이 기본으로 제공된다. > 다음
네트워크 변경하기 >
노드 타입
마스터 1 , 코어 2 인스턴스가 기본 > 다음
2
seo-cluster
로깅 체크 해지
종료보호 해지
// 사용자 지정 AMI가 있다. 이부분을 사용하면 보안 강화된 이미지를 사용할수 있다.
다음
3
EC2 키페어
사용자 키 페어 선택한다.
4
권한
사용자 지정 으로 변경
EMR 역할 : EMR_DefaultRole (디폴트 사용)
EC2 인스턴스 프로파일 : EMR_EC2_DefaultRole (디폴트 사용)
5
보안그룹
// ElasticMapReduce 허용하는 보안그룹 선택
> 클러스터 생성하기
<2> EMR 클러스터 연결하기
1
EMR > 클러스터 목록 > 클러스터 클릭 >
마스터 공인 DNS 확인하기 : ec2-18-xxx-xxx-xxx.compute-1.amazonaws.com
2
점프 호스트에 로그온해서, EMR 클러스터 연결하기
putty와 pageant 프로그램 다운 로드
https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html
데이터
https://en.wikipedia.org/wiki/Google_Ngram_Viewer
http://storage.googleapis.com/books/ngrams/books/datasetsv2.html
https://aws.amazon.com/ko/datasets/google-books-ngrams/
<3> 데이터 분석하기
hive 연결 , 실행
// 입력 코드
감사합니다.
