(몰아보기) 7탄- AWS로 빅데이터 시작

by Master Seo
Sep 8. 2022

AWS 빅데이터 수집에서 시각화 까지 배워 봅시다!!


<1> 수집

<2> 실시간 데이터 처리

<3> 스토리지와 데이터 베이스

<4> 아테나와 EMR

<5> Spark, Glue

<6> Redshift

<7> 시각화

<8> 빅데이터 시작하기

<9> 데이터 최대 활용




<1> 수집


https://brunch.co.kr/@topasvga/1310

473. 데이터-수집 1/7

데이터를 수집하고, 데이터 전송하는 법을 알아보자. 1 빅데이터의 특징 2 데이터 수집 유형 3가지 3 키네시스 에이전트로 데이터를 쉽게 수집할 수 있다. 4 IDC와 AWS 간 데이터 전송 5

https://brunch.co.kr/@topasvga/1310

 



<2> 실시간 데이터 처리



https://brunch.co.kr/@topasvga/1311

474. 데이터-실시간 데이터 처리 키네시스 2/7

1 실시간 데이터 이해 2 실시간 데이터 처리 키네시스 서비스 종류 3 kinesis data streams - 데이터 수집 및 스트리밍하여 순서대로 실시간 처리 4 Kinesis Data Firehose - 간편한 처리 5 kinesis data

https://brunch.co.kr/@topasvga/1311

 



<3> 스토리지와 데이터 베이스


https://brunch.co.kr/@topasvga/1312

475. 데이터-스토리지와 데이터베이스 3/7

1 스토리지 2 NoSQL 데이터 베이스 3 문서 데이터 스토어 DynamoDB 4 DynamoDB Accelerator (DAX) 5 ElasticCache 6 Redshift 7 RDS 8 EMR (HDFS) 9 EMR FS (S3) 10 EBS를 사용한 인스턴스 스토리지 증

https://brunch.co.kr/@topasvga/1312

 



<4> 아테나와 EMR


https://brunch.co.kr/@topasvga/1317

477. 데이터-아테나와 EMR 4/7

1 S3에서 직접 비용 효율적으로 쿼리 하는 Atena 2 Amazon EMR , 관리형 하둡 시스템 3 하둡 프레임 워크 1 S3에서 직접 비용 효율적으로 쿼리 하는 Atena Athena 이용 서버리스 서비스이다. 1 대

https://brunch.co.kr/@topasvga/1317

 



<5> Spark, Glue


https://brunch.co.kr/@topasvga/1318

478. 데이터-Spark, Glue 5/7

1 Spark 사용 2 Glue 1 Spark 사용 1 Mapreduce 보다 빠르다. 배치, 대화식 및 스트리밍 어플지원 충분히 메모리 공간이 있어야 한다. 스트링 대치 용은 아니다. 배치 기반으로 동작하는 것이다. 3 EMR에

https://brunch.co.kr/@topasvga/1318

 



<6> Redshift


https://brunch.co.kr/@topasvga/1319

479. 데이터-Redshift 6/7

1 Redshift 알아보기 2 EMR , Redshfit 실습 1 Redshift 알아보기 데이터베이스와 데이터 웨어 하우스의 차이 1 DW사용시 분석작업과 트랜잭션 작업이 리소스 경합을 일으키지 않습니다. 2 트위터, 페이

https://brunch.co.kr/@topasvga/1319

 



<7> 시각화


https://brunch.co.kr/@topasvga/1320

480. 데이터-시각화 7/7

1 시작화 툴 알아보기 2 Quick Sight 사용해보기 1 시작화 툴 알아보기 1 amazon quick sight 2 SpotFire 3 Jaspersoft 3 테이터 탐색 과 프리젠 테이션은 다르다? 데이터 탐색 데이터 전문가를 위한 시각화

https://brunch.co.kr/@topasvga/1320

 



<8> 빅데이터 시작하기


https://brunch.co.kr/@topasvga/1427

543. AWS 빅데이터 시작 1/1

AWS 온라인 세미나중 데이터 관련 세션을 듣고 요약해 정리한다. 데이터 엔지니어가 되려고 하는 분들에게 도움이 될 거 같아 요약해 본다. 1 데이터를 준비하는 과정? 2 데이터 준비에

https://brunch.co.kr/@topasvga/1427

 



<9> 데이터 최대 활용


1

https://brunch.co.kr/@topasvga/2699

17탄-(몰아보기) AWS 데이터 최대 활용

1 https://brunch.co.kr/@topasvga/2697 2 https://brunch.co.kr/@topasvga/2700 3 https://brunch.co.kr/@topasvga/2703 4 https://brunch.co.kr/@topasvga/2704 5 https://brunch.co.kr/@topasvga/2705 6

https://brunch.co.kr/@topasvga/2699

 



2

https://brunch.co.kr/@topasvga/1765

(몰아보기) AWS 머신러닝 전문가 되기

https://brunch.co.kr/@topasvga/387 https://brunch.co.kr/@topasvga/389 https://brunch.co.kr/@topasvga/1233 https://brunch.co.kr/@topasvga/1758 감사합니다.

https://brunch.co.kr/@topasvga/1765

 


3

https://brunch.co.kr/@topasvga/1766

(몰아보기) AWS 분석 전문가 되기

https://brunch.co.kr/@topasvga/2698 기술별 몰아보기 https://brunch.co.kr/@topasvga/1634 https://brunch.co.kr/@topasvga/2004 https://brunch.co.kr/@topasvga/2005 https://brunch.co.kr/@topasvga/1751 http

https://brunch.co.kr/@topasvga/1766

 




4


https://brunch.co.kr/@topasvga/2036

(책 모음) 데이터 분석 책-2024

<1> 데이터 쓰기의 기술 <2> 데이터 엔지니어를 위한 97가지 조언 <3> AWS기반 데이터 과학 - 2023 (추천) <4> 모두의 한국어 텍스트 분석 with 파이썬 - 2023 <5> 데이터 스토리 <6> 데이터 분석 프로젝트

https://brunch.co.kr/@topasvga/2036

 




5

https://brunch.co.kr/@topasvga/2525

(실습1탄~37탄) AWS 기초부터 기업사례까지

AWS 기술자료 정리했습니다. https://brunch.co.kr/@topasvga/3336 1 1탄-AWS기초,컴퓨팅,스토리지,데이터베이스 https://brunch.co.kr/@topasvga/2513 2 2탄- 592.(AWS속성과정) AWS 시작하기-1/4 https://brunch.co.kr/@topasvga/1627 3

https://brunch.co.kr/@topasvga/2525

 


감사합니다.
keyword
매거진의 이전글 7탄-AWS 빅데이터 시작 1/1