7탄-데이터-스토리지와 데이터베이스 3/7
<1> 스토리지
<2> NoSQL 데이터 베이스
<3> 문서 데이터 스토어 DynamoDB
<4> DynamoDB Accelerator (DAX)
<5> ElasticCache
<6> Redshift
<7> RDS
<8> EMR (HDFS)
<9> EMR FS (S3)
<10> EBS를 사용한 인스턴스 스토리지 증대
<11> 데이터 스토어 비교
<12> S3와 다이나모 DB 비용 계산
<13> 실습
<1> 스토리지
1
S3 사용
안정성
2
S3 Glacier
저비용
쿼리되지 않는 비구조화데이터
<2> NoSQL 데이터 베이스
1
스키마 없는 방식
최종 일관성
분산
수평 확장성
2
NOSQL : 열기반 데이터 스토어
열기반 스토리지 (블록)
분석 성능 개선
쿼리 실행 속도 향상
3
Aapache Cassadra
Apache Hbase
4
NOSQL : 문서 데이터 스토어
반구조화 데이터(JSON) 저장
유연한 데이터 모델
중첩 데이터 액세스
MongoDB , Couchbase, Cassandra, MarkLogic
<3> 문서 데이터 스토어 DynamoDB
1
완전관리형 비관계형 데이터 베이스
높은 내구성 및 확장성
리전 범위
다중 가용 영역 복제 사용
EMR과 통합
Hive 사용 DynamoDB와 복잡한 쿼리 실행
Hive 사용 DynamoDB 테이블을 S3테이블에 조인
2
항목 및 속성?
테이블
파티션 키 (해시)
정렬 키 (선택사항)
3
GSI ?
Global Secondary Index
<4> DynamoDB Accelerator (DAX)
1
DynamoDB 호환 캐싱 서비스
RI가능하다.
인메모리
완전 관리형
최대 10개 읽기 전용 복제본 가능
2
구성?
애플리캐이션 --- DynamoDB Accelerator ----DynamoDB
write cache 에 주는게 성능상 좋다.
읽기는 저장되어 있으므로
<5> ElasticCache
1
인메모리 키-값 스토어
2
Memcached 및 Redis
데이터베이스 성능 및 비용 최적화 캐쉬
<6> Redshift
구조화 데이터 스토어
페터바이트 규모 데이터베이스 서비스
<7> RDS
관계형 데이터 베이스
mysql, maria , Aurora 등
가장 구조화된 데이터를 저장한다.
<8> EMR (HDFS)
비구조화 데이터 스토아
HDFS(로컬 디스크)
데이터가 로컬이며 S3로 부터 스트리밍 되지 않음.
<9> EMR FS (S3)
클러스터 내의 S3에서 데이터에 대한 일관적 보기 제공
EMRFS를 사용하여 데이터를 직접 가져와서 S3와 동기화
파일 데이터 (EMR, HDFS)------------------- EMRFS (S3, Dynamodb) 데이터 가져옴.
<10> EBS를 사용한 인스턴스 스토리지 증대
1
EMR은 다음을 위한 로컬 인스턴스 스토리지(훼발성)을 사용한다.
2
HDFS
EMRFS를 사용하여 S3로 부터 데이터를 처리할떄 중간 파일 저장.
EBS볼륨을 사용해 확대 가능
3
EBS를 이용한 스토리지 용량 증대 가능.
<11> 데이터 스토어 비교
<12> S3와 다이나모 DB 비용 계산
비용 계산기
https://medium.com/@kobold.cloud/s3-vs-dynamodb-price-comparison-6e4edba7c40e
<13> 실습
https://brunch.co.kr/@topasvga/1153
https://brunch.co.kr/@topasvga/1166
https://brunch.co.kr/@topasvga/1167
https://brunch.co.kr/@topasvga/1168
다음과정
https://brunch.co.kr/@topasvga/1317
https://brunch.co.kr/@topasvga/2698
감사합니다.
