brunch

매거진 AWS 전문가 되기

라이킷 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Master Seo Dec 03. 2021

(몰아보기) Amazon EMR 실습

https://brunch.co.kr/@topasvga/493

[AWS]64.빅데이터 분석,EMR로 시작하기

1. 필요 내용 IOT장비에서 받아오는 미세먼지 데이터를 분석하고자 한다. 배치성 데이터를 처리하고자 한다. 이벤트 로그를 분석하고자 한다. 빠른시간내에 데이터 처리하고자 한다. 2. Amazon EMR

brunch.co.kr/@topasvga/493

https://brunch.co.kr/@topasvga/1228

433. Bigdata 분석하기,EMR생성

EMR 과 HIVE로 파일 분석하여 결과를 얻어내자. 이론 | 목차 <0> 하둡 시스템으로 Bigdata를 분석해보자. <1> S3 만들기 <2> EMR 만들기 <3> HIVE 스크립트로 데이터 처리하기 <4> 결과 확인 <5> EMR

brunch.co.kr/@topasvga/1228

https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

S3에 저장된 서버로그 2가지를 EMR 에서 처리하자 <1> S3에 저장된 서버로그 2가지를 EMR 에서 처리순서 <2> 결과 저장용 S3 생성 <3> EMR 생성 <4> Command Server 1대에서 EMR로 접속하자. <5> Hive 실행

brunch.co.kr/@topasvga/2009

https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간 데이터를 업로드해보자~ <1> EMR 생성, 다이나모 DB 생성 <2> 결과 s3 생성 <3> command-host ec2 생성과 emr master

brunch.co.kr/@topasvga/2006

https://brunch.co.kr/@topasvga/1229

434. EMR로 google Books분석

EMR 클러스터를 생성 실습 | EMR (Elastic MapReduce ) , 관리형 하둡 프레임워크 큰그림 아마존 빅데이터 솔루션중 하나인 EMR 클러스터를 생성 Hive를 실행하여 S3 스토리지에 저장된 데이터에 대한 테

brunch.co.kr/@topasvga/1229

https://brunch.co.kr/@topasvga/2006

598. EMR, S3, DynamoDB 사용

이론, 개념잡기 | EMR로 S3와 DynamoDB 데이터 내보내기 및 가져오기 EMR로 S3와 DynamoDB 간 데이터를 업로드해보자~ <1> 결과 s3 생성 <2> EMR Hive 생성, 다이나모 DB 생성 <3> command-host ec2 생성과 emr mas

brunch.co.kr/@topasvga/2006

https://brunch.co.kr/@topasvga/2009

599. EMR Hive사용하기

이론, 절차 확인하기 | S3에 저장된 서버로그 2가지를 EMR HIVE로 처리하자 <1> S3에 저장된 서버로그 2가지를 EMR HIVE로 처리 순서 <2> 결과 저장용 S3 생성 <3> EMR 생성, Hive 설치 <4> Command Server

brunch.co.kr/@topasvga/2009

https://brunch.co.kr/@topasvga/2023

600. EMR Monitoring을 통한 상태 점검

<1> EMR Monitoring 을 통한 상태 점검하기 <2> 작업시 세션 관리자에서 20분 이상 유휴상태 필요시 idle timeout을 60분으로 변경 <3> EMR에서 Hue and Pig 사용하는 법 <1> EMR Monitoring 을 통한 상태

brunch.co.kr/@topasvga/2023

https://brunch.co.kr/@topasvga/2028

602. EMR 사용. Spark 사용하기

순서만 이해하자 | EMR 사용하고 , Spark 실행해서 데이터를 처리하는 상세 방법을 알아보자. S3에 데이터를 수집한다. EMR에서 Spark를 사용한다. Amazon Redshift에 데이터를 올려 Amazon Redshift를 이용할

brunch.co.kr/@topasvga/2028

https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

https://brunch.co.kr/@topasvga/493 https://brunch.co.kr/@topasvga/741 https://brunch.co.kr/@topasvga/1751 https://brunch.co.kr/@topasvga/1634 https://brunch.co.kr/@topasvga/1633 https://brunch.c

brunch.co.kr/@topasvga/1766

감사합니다.