brunch
매거진 AWS 전문가 되기

(몰아보기) Amazon EMR 실습

by Master Seo
Dec 3. 2021

https://brunch.co.kr/@topasvga/493

[AWS]64.빅데이터 분석,EMR로 시작하기

1. 필요 내용 IOT장비에서 받아오는 미세먼지 데이터를 분석하고자 한다. 배치성 데이터를 처리하고자 한다. 이벤트 로그를 분석하고자 한다. 빠른시간내에 데이터 처리하고자 한다. 2. Amazon EMR

https://brunch.co.kr/@topasvga/493

 



https://brunch.co.kr/@topasvga/1228

433. Bigdata 분석하기,EMR생성

EMR 과 HIVE로 파일 분석하여 결과를 얻어내자. 이론 | 목차 <0> 하둡 시스템으로 Bigdata를 분석해보자. <1> S3 만들기 <2> EMR 만들기 <3> HIVE 스크립트로 데이터 처리하기 <4> 결과 확인 <5> EMR

https://brunch.co.kr/@topasvga/1228

 


https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

S3에 저장된 서버로그 2가지를 EMR 에서 처리하자 <1> S3에 저장된 서버로그 2가지를 EMR 에서 처리순서 <2> 결과 저장용 S3 생성 <3> EMR 생성 <4> Command Server 1대에서 EMR로 접속하자. <5> Hive 실행

https://brunch.co.kr/@topasvga/2009

 



https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간 데이터를 업로드해보자~ <1> EMR 생성, 다이나모 DB 생성 <2> 결과 s3 생성 <3> command-host ec2 생성과 emr master

https://brunch.co.kr/@topasvga/2006

 



https://brunch.co.kr/@topasvga/1229

434. EMR로 google Books분석

EMR 클러스터를 생성 실습 | EMR (Elastic MapReduce ) , 관리형 하둡 프레임워크 큰그림 아마존 빅데이터 솔루션중 하나인 EMR 클러스터를 생성 Hive를 실행하여 S3 스토리지에 저장된 데이터에 대한 테

https://brunch.co.kr/@topasvga/1229

 


https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간 데이터를 업로드해보자~ <1> 결과 s3 생성 <2> EMR Hive 생성, 다이나모 DB 생성 <3> command-host ec2 생성과 emr mas

https://brunch.co.kr/@topasvga/2006

 



https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

이론, 절차 확인하기 | S3에 저장된 서버로그 2가지를 EMR HIVE로 처리하자 <1> S3에 저장된 서버로그 2가지를 EMR HIVE로 처리 순서 <2> 결과 저장용 S3 생성 <3> EMR 생성, Hive 설치 <4> Command Server

https://brunch.co.kr/@topasvga/2009

 


https://brunch.co.kr/@topasvga/2023

600. EMR Monitoring을 통한 상태 점검

<1> EMR Monitoring 을 통한 상태 점검하기 <2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시 idle timeout을 60분으로 변경 <3> EMR에서 Hue and Pig 사용하는 법 <1> EMR Monitoring 을 통한 상태

https://brunch.co.kr/@topasvga/2023

 


https://brunch.co.kr/@topasvga/2028

602. EMR 사용. Spark 사용하기

순서만 이해하자 | EMR 사용하고 , Spark 실행해서 데이터를 처리하는 상세 방법을 알아보자. S3에 데이터를 수집한다. EMR에서 Spark를 사용한다. Amazon Redshift에 데이터를 올려 Amazon Redshift를 이용할

https://brunch.co.kr/@topasvga/2028

 



https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

https://brunch.co.kr/@topasvga/493 https://brunch.co.kr/@topasvga/741 https://brunch.co.kr/@topasvga/1751 https://brunch.co.kr/@topasvga/1634 https://brunch.co.kr/@topasvga/1633 https://brunch.c

https://brunch.co.kr/@topasvga/1766

 


감사합니다.
Master Seo 소속 클라우드전문가카페 직업 엔지니어 프로필

전) 네이버 엔지니어 7년, 네이버 클라우드 공인강사,마스터, PRO , AWS아키프로, Google프로아키, Azure어드민, CCNP, 맛집,여행 전문가, 좋은 기운을 주는사람

구독자 2,545
매거진의 이전글597. Amazon Athena 사용법