6탄-4. 새로운 Amazon S3 클래스로 비용 절감
Amazon S3는 총 7개의 스토리지 클래스로 이루어져 있다.
별도로, 1개의 하이브리드 환경을 위한 S3 Outposts 클래스도 있다.
종류와 특징을 알아보자
<1> S3 스토리지 클래스 종류
<2> S3 스토리지 클래스 선택
<3> S3 비용 최적화
<4> 데이터 수명 주기 전환 하기
<5> 수명 주기 제약 사항?
<6> 수명주기 기능 추가
<7> 수명 주기 효과
<10> 개인 정리
<1> S3 스토리지 클래스 종류
S3 Intelligent-Tiering
S3 Standard
S3 Standard-IA ( Infrequent Access)
S3 Glacier Instant Retrieval
S3 Glacier Flexible Retrieval (기존 S3 Glacier) (유연한 검색)
S3 Glacier Deep Archive
1
S3 Intelligent-Tiering
변화하는 액세스 패턴을 가진 데이터
밀리초 접근
오브젝트 모니터링 비용 발생
옵션으로 비동기화 아카이브 티어 적용 가능
128KB 이하의 오브젝트들은 티어링 적용이 안된다.
인텔리전트 티어링은 자동으로 액세스 패턴을 분석해서 오브젝트 티어를 변경한다.
128KB 이하 크기 오브젝트 모니터링 비용이 없어 짐
최소 30일 동안 오브젝트를 보관해야 하는 제약이 없어짐
데이터를 S3에서 S3 Intelligent-Tiering 이전하는 것보다, 초기에 S3 Intelligent-Tiering로 넣는 게 좋다.
그래야 수명 주기 전환 비용을 절약할 수 있다.
수명 주기를 사용할 때는 put request에 대한 비용과 수명 주기 전환 비용이 추가로 발생한다.
2
S3 Standard
밀리초 접근
복구 비용 없음
데이터 최소 저장 기간 없음
데이터 검색이 비용에 추가 안됨
3
S3 Standard-IA ( Infrequent Access)
자주 접근하지 않는 데이터
밀리초 접근
GB당 복구 비용 발생
4
S3 Glacier Instant Retrieval
즉시 데이터 복구
간혹 접근하는 데이터 (즉각적인 검색)
아카이브 데이터를 바로 가져올 수 있게 되었다.
아카이브 데이터 자장 소, 오브젝트를 스탠더드만큼 빠르게 접근 가능하다.
GB당 복구 비용 발생
오브젝트는 최소 90일 저장 기간을 가져야 한다.
필요할 때 즉각적인 접근 필요하기 때문에 필요하다.
예) 병원 차트, 올림픽 영상 등 갑자기 빠르게 필요할 때
스턴다드와 스탠더드 IA와 동일한 지연과 Throughput성능을 제공한다.
밀리초 접근
99/9% 가용성
최소 90일 보유
5
S3 Glacier Flexible Retrieval (기존 S3 Glacier) (유연한 검색)
아카이브 데이터
수분~수시간 복구 옵션 , Expedited 1~5분, 스탠더드 3~5시간 복구 시간
벌크 복구비용 무료 5~12시간 복구.
GB당 복구 비용 발생
최소 90일 보유
6
S3 Glacier Deep Archive
장기 보관 데이터
12시간, 48시간 복구
최소 180일 보유
7
AWS AZ
원존 인 프리퀀트 액세스 클래스
원존 IA
하나의 가용 영역에만 데이터 저장. 지주 접근하지 않고, 재 생산 가능한 데이터 보관용으로 좋다.
GB당 복구 비용 발생
8
S3 아웃포스트
S3 스토리지를 고객 IDC에 두는 것이다.
데이터를 로컬에서 접근할 수 있도록 하는 것이다.
온프라미스 애플리케이션 서버들이 데이터를 빠르게 저장하고 접근할 수 있게 하는 것이다.
GB당 복구 비용 발생
<2> S3 스토리지 클래스 선택
오브젝트를 매일 접근한다면 스탠더드 클래스로
한 달에 1번 정도 접근한다면 S3 Standard-IA
분기당 1번 S3 Glacier Instant Retrieval
반년 , 1년에 한 번 접근한다면 S3 Glacier Flexible Retrieval (기존 S3 Glacier)
몇 년에 한 번 접근한다면 S3 Glacier Deep Archive
<3> S3 비용 최적화
1
크기가 작은 파일들은 S3에 올리기 전에 tar, zip으로 압축해 업로드하는 게 좋다.
2
이미 작은 파일이 S3에 존재한다면 EMR과 같은 도구를 이용하여 큰 오브젝트로 병합하는 게 비용을 감소시킬 수 있는 방법이다.
3
분기당 1번 S3 Glacier Instant Retrieval
비용을 발생시키는 4가지는?
데이터 용량
평균 오브젝트 크기 - get , put , 크기가 클 수롤 비용이 적다.
데이터 검색 비율 - 스탠더드는 추가되지 않으나 리 트리 벌은 추가 된다.
데이터 수명 - 90일 최소 보관 , 90일 이전에 오브젝트를 삭제하더라도 무조 간 90일 비용이 청구된다.
4
S3 Storage Lens와 S3 Storage Class Analysis 도구를 활용하라.
S3 Storage Lens - 데이터 용량, 평균 오브젝트 크기 확인 도구
S3 Storage Class Analysis는 데이터 검색 비율 확인 도구
5
S3 Intelligent-Tiering의 비용도 오브젝트 크기에 영향을 받는다.
결국 비용 최적화를 위해 평균 오브젝트 크기를 확인하는 것이 매우 중요하다.
6
중요한 비용 요소 2가지?
데이터 용량과 평균 오브젝트 크기
이를 확인하는 도구가 S3 Storage Lens 대시보드이다.
가로가 평균 오브젝트 크기 , 원의 크기가 데이터 크기이다.
기본은 무료
어드밴스드는 유료이다.
우측에 있으면서, 원의 크기가 큰 것을 아카이브 스토리지로 이용하면 비용 절감 효과가 커진다!!!
7
S3 저장 비용을 줄일 수 있는 또 다른 요소는 오브젝트 접근 빈도이다.
S3 Storage Class Analysis로 확인하자
접근 빈도가 낮은 데이터를 식별한 후 수명 주기 정책을 설정하여
이러한 데이터를 더 저렴한 스토리지 클래스로 전환하면 된다.
적용 대상은 전체 버킷, 특정 프리픽스도 가능하다.
<4> 데이터 수명 주기 전환 하기
1
수명 주기 규칙은 오브젝트 저장 기간에 기초하여 동작한다.
2
버킷 전체, 프리픽스, 태그가 지정된 오브젝트에 적용하여 설정할 수 있다.
3
스탠더드에서 90일 이상은 S3 Glacier Instant Retrieval
365일 이상은 S3 Glacier Deep Archive
<5> 수명 주기 제약 사항?
1
128 kb 보다 작은 오브젝트는 스탠더드에서 S3 Glacier Instant Retrieval, S3 Intelligent-Tiering로 넘어가지 않는다.
2
스탠더드에서 스탠더드 IA로 전환 시 최소 30일은 스탠더드에 보관해야 한다.
<6> 수명주기 기능 추가
1
버전 관리가 켜져 있는 버킷에 한해 각 오브젝트 별로 이전 버전을 몇 개까지 보관할 것인지 설정 가능.
관리되지 않던 다수의 이전 버전으로 인해 발생한 저장 비용을 줄인다.
2
오브젝트 크기로 클래스간 이동을 정할 수 있다.
10G 이상의 미디어를 다른 클래스로 이동
S3 Glacier Deep Archive 이동한다면 저장 비용을 95%까지 절감한다.
그러나, 오브젝트 전환 비용이 발생하니 주의
따라서, 저장비용과 클래스 전환 비용 모두를 고려해 수명주기를 설정해야 한다.
<7> 수명 주기 효과
1
무조건 모두 S3 Glacier Deep Archive로 이동하는 게 좋은 것만은 아니다!!
모든 오브젝트를 S3 Glacier Deep Archive로 이동 - 15개월 지나야 비용 절감 효과
중간 오브젝트를 S3 Glacier Deep Archive로 이동 - 4개월이 지나면 효과
큰 오브젝트를 S3 Glacier Deep Archive로 이동 - 2개월만 지나도 효과
오브젝트 크기 필터로 이동하자!! 비용 절감 효과가 크다.
2
S3 Intelligent-Tiering 사용은?
데이터의 액세스 패턴이 일정하지 않고 불규칙 적일 때, 패턴에 대한 인사이트가 없을 때 사용한다.
S3 Intelligent-Tiering 은 오브젝트에 일정기간 접근이 없으면, 자동으로 저렴한 티어로 오브젝트를 전환시킨다.
<10> 개인 정리
1
S3 Intelligent-Tiering
S3 Standard
S3 Standard-IA ( Infrequent Access)
S3 Glacier Instant Retrieval
S3 Glacier Flexible Retrieval (기존 S3 Glacier) (유연한 검색)
S3 Glacier Deep Archive
