brunch

매거진 AWS 전문가 되기
라이킷 댓글 공유

You can make anything
by writing

C.S.Lewis

프로젝트 리스트 바로가기
계정을 잊어버리셨나요?
by Master Seo Dec 03. 2021

(몰아보기) Amazon EMR 실습

https://brunch.co.kr/@topasvga/493

[AWS]64.빅데이터 분석,EMR로 시작하기

1. 필요 내용 IOT장비에서 받아오는 미세먼지 데이터를 분석하고자 한다. 배치성 데이터를 처리하고자 한다. 이벤트 로그를 분석하고자 한다. 빠른시간내에 데이터 처리하고자 한다. 2. Amazon EMR

brunch.co.kr/@topasvga/493

 



https://brunch.co.kr/@topasvga/1228

433. Bigdata 분석하기,EMR생성

EMR 과 HIVE로 파일 분석하여 결과를 얻어내자. 이론 | 목차 <0> 하둡 시스템으로 Bigdata를 분석해보자. <1> S3 만들기 <2> EMR 만들기 <3> HIVE 스크립트로 데이터 처리하기 <4> 결과 확인 <5> EMR

brunch.co.kr/@topasvga/1228

 


https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

S3에 저장된 서버로그 2가지를 EMR 에서 처리하자 <1> S3에 저장된 서버로그 2가지를 EMR 에서 처리순서 <2> 결과 저장용 S3 생성 <3> EMR 생성 <4> Command Server 1대에서 EMR로 접속하자. <5> Hive 실행

brunch.co.kr/@topasvga/2009

 



https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간 데이터를 업로드해보자~ <1> EMR 생성, 다이나모 DB 생성 <2> 결과 s3 생성 <3> command-host ec2 생성과 emr master

brunch.co.kr/@topasvga/2006

 



https://brunch.co.kr/@topasvga/1229

434. EMR로 google Books분석

EMR 클러스터를 생성 실습 | EMR (Elastic MapReduce ) , 관리형 하둡 프레임워크 큰그림 아마존 빅데이터 솔루션중 하나인 EMR 클러스터를 생성 Hive를 실행하여 S3 스토리지에 저장된 데이터에 대한 테

brunch.co.kr/@topasvga/1229

 


https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간  데이터를 업로드해보자~ <1> 결과 s3 생성 <2>  EMR  Hive 생성, 다이나모 DB 생성 <3>  command-host ec2 생성과 emr mas

brunch.co.kr/@topasvga/2006

 



https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

이론, 절차 확인하기 | S3에 저장된 서버로그  2가지를 EMR HIVE로  처리하자 <1>  S3에 저장된 서버로그  2가지를 EMR HIVE로  처리 순서 <2> 결과 저장용 S3 생성 <3> EMR 생성, Hive 설치 <4>  Command Server

brunch.co.kr/@topasvga/2009

 


https://brunch.co.kr/@topasvga/2023

600. EMR Monitoring을 통한 상태 점검

<1> EMR   Monitoring  을 통한 상태 점검하기 <2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시  idle timeout을 60분으로 변경 <3>  EMR에서 Hue and Pig  사용하는 법 <1> EMR   Monitoring  을 통한 상태

brunch.co.kr/@topasvga/2023

 


https://brunch.co.kr/@topasvga/2028

602. EMR 사용.  Spark 사용하기

순서만 이해하자 | EMR 사용하고 , Spark 실행해서 데이터를 처리하는 상세 방법을 알아보자. S3에 데이터를 수집한다. EMR에서 Spark를 사용한다. Amazon Redshift에 데이터를 올려  Amazon Redshift를 이용할

brunch.co.kr/@topasvga/2028

 



https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

https://brunch.co.kr/@topasvga/493 https://brunch.co.kr/@topasvga/741 https://brunch.co.kr/@topasvga/1751 https://brunch.co.kr/@topasvga/1634 https://brunch.co.kr/@topasvga/1633 https://brunch.c

brunch.co.kr/@topasvga/1766

 


감사합니다.

Master Seo 소속 클라우드전문가카페 직업 엔지니어

(전) 네이버 엔지니어 7년 , 네이버 클라우드 마스터, PRO , AWS 아키프로, Google프로아키, Azure어드민, CCNP, 맛집,여행 전문가, 좋은 기운을 주는사람
구독자 2,522
매거진의 이전글 597. Amazon Athena 사용법
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari