AWS 47탄-8. 컴퓨팅, 스토리지- 2024-1월
<1> Computing 신규
<2> AWS Trainium / Infrerence & GPU Instance 신규
<3> 스토리지 신규
<1> Computing 신규
1
Amazon EC2 High Memeory U7i instance?
미션 크리티컬 인메모리 데이터베이스를 보유한 고객에게 적합
SAP HANA, Oracle , SQL Server 포함 대규모 인메모리 데이터 베이스를 지원하도록 설계
u7in-32tb.224 xlarge?
896 vCPU
32,768 GiB메모리
100 Gbps EBS 대역폭
100 Gbps 네트워크 대역폭
u7i-12tb.224 xlarge?
896 vCPU
12,288 GiB메모리
60 Gbps EBS 대역폭
100 Gbps 네트워크 대역폭
참고
2
Amazon EC2 Memory Optimized R8g instances?
그라비톤 프로세스
그라비톤 4세대 AWS ARM CPU
7세대(R7g) 보다 최대 3배의 vCPU와 3배의 메모리
메모리를 많이 사용하는 워크로드에 적합 = 데이베이스, 인메모리 캐시, 실시간 빅데이터 분석.
4
ENA Express?
네트워크 성능 개선이 되도록 인스턴스 지원.
AWS SRD기술 사용 . Scalable Reliable Datagram.
이제 58개 인스턴스 유형에서 지원.
네트워크를 5G에서 25G까지 늘리도록 되어 있다.
5
AWS Compute Optimizer?
AWS 리소스 사용을 최적화하기 위한 권장사항 받는 서비스.
4가지 유형의 리소스 = EC2, EBS , ECS , Lambda 지원.
CPU headroom 및 임계값 기본 설정 조정.
인스턴스 패밀리/크기 권장 사항의 유형 제한.
새로운 32일 전환 확인 기간(분석 기간)
14일 동안 사용률을 자동 분석해서 결과를 내어준다.
6
EKS Pod Identities?
쿠버네티스 컨테이너에 대한 IAM 권한.
클러스터 관리자가 AWS IAM 권한을 얻기 위해 쿠버네티스 애플리케이션을 구성하는 방법을 간소화한다.
EC2 인스턴스 프로파일 iam 역할과 유사.
ec2 리눅스 기반의 eks만 현재 가능.
컨테이너 app에서 aws sdk를 업그레이드해야 합니다.
요금은 무료입니다.
eks 1.24 이상에서만 실행 지원.
7
2022년 Lambda snapStart 기능으로 10배 빨라짐.
람다 함수를 실행할때 캐쉬에서 환경을 초기화함.
https://aws.amazon.com/ko/blogs/korea/new-accelerate-your-lambda-functions-with-lambda-snapstart/
8
Lambda scales 12x faster?
Lambda는 최대 12배 더 빠르게 확장.
이제 10초마다 1,000개의 호출로 확장.
계정 동시성 제한 (Account concurrency linit)에 대한 변경 사항 없음.(기존 함수에서 변경할 부분이 없음)
aws 관리 콘솔에서 지원 티켓을 생성하여 계정 동시성 한도를 높일 수 있다.
<2> AWS Trainium / Infrerence & GPU Instance 신규
1
ML Workloads 지원용도?
머신러닝용
트레이닝 용도?
추론(Infrerence) 용도?
2
트레이닝 용도?
P4d = NVIDIA A100
p4de = NVIDIA A100
P5(NEW) = NVIDIA H100 = 최대 8개의 H100 GPU 탑재. 최대 4배 성능. 40% 낮은 교육 비용.
DL1 = INTEL
TRN1n(NEW) = AWS TRAINIUM
TRN2(NEW) = AWS TRAINIUM = 1세대 Trainium칩보다 4배 빠른 학습 속도. 대규모 생성형 AI 모델 훈련에 최적화.
3
추론(Inference) 용도?
G5 = A10G
G6(NEW) = NVIDIA L4
G6e(NEW) = NVIDIA L4S
DL2q(NEW)= QUALCOMM AI 100
INF1 = AWS INFERNTIA
INF2(NEW)= AWS INFERNTIA2
3
NVIDA 최신 H200 GPU를 탑재한 EC2 P5e = 최대 규모의 대규모 언어모델 개발(LLM)
4
NVIDA L40S GPU 탑재한 EC2 G6e = 대규모 및 소형 언어 모델을 학습 및 추론. 광범위하게 사용가능.
5
NVIDA L4 GPU를 탑재한 EC2 G6 = 일반 AI/ML , 그래픽 워크로드를 위한 저비용, 에너지 효율적인 솔루션.
<3> 스토리지 신규
1
Amazon S3 Express One Zone storage class (NEW)?
성능이 중요한 애플리케이션에 대해 10 밀리초 미만 요청 지연 시간 제공.
Direcrory Bucket이라는 새로운 유형의 버킷 타입 지원 = 작은 파일 처리에 효과가 있다.
Single AZ로 구성된 스토리지 클래스.
빈번하게 액세스 되는 데이어 활용하면서 지연시간에 민감한 워크로드를 위한 클래스 필요로 출시됨,
금융거래 분석,실시간 광고, 사기 탐지, AI/ML에서 사용.
컴퓨팅 리소스와 버킷을 같은 가용영역에 배치하여 트래픽으로 인한 부분을 개선 가능하다.
2023년 2월 현재 서울 리전 미지원.
https://aws.amazon.com/ko/blogs/korea/new-amazon-s3-express-one-zone-high-performance-storage-class/
2
AWS S3 데이터 전송 가속화?
AWS Common Runtime (CRT) 사용하여 S3 GETs 최대 85% , PUTs 71% 성능개선.
특정 인스턴스 타입에 대한 s3 전송은 자동으로 성능 향상.
타 인스턴스 타입에서 사용 원하면 명시적 설정 필요 (CLI 사용시)
aws configure set default.s3.preferred transfer client crt
3
기본 Amazon S3 권한 부여 방법?
기존 방법 1 - Bucket Policy
버킷 정책 수정시 일부,전체 사용자에 영향을 미침, 사이즈 제한도 있다.20키로 바이트 제약이 있다.
기존 방법 2 - S3 Access Points
각 사용자별로 액세스 포인트를 만들고, 액세스 포인트별로 폴리시를 관리한다. 사용자가 늘어나면 액세스 포인트도 늘어나야 다른 권한에 대해 별도로 관리해야 하는 단점.
새로운 방법? Amazon S3 Access Grants
논리적인 액세스 그랜트 인스턴스를 리전 별로 만들고 , 해당 인스턴스가 S3권한을 관리하게 만든다.
직관적으로 사용자와 그룹을 데이터 세트(버킷등)와 매칭하여 권한을 정의할수 있다.
별도의 iam권한 없이도 IAM Identity Center를 통해 Access Grants로 부터 S3권한을 받을수 있다.
https://aws.amazon.com/ko/about-aws/whats-new/2023/11/amazon-s3-access-grants-data-lake-permissions/
https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-grants.html
4
Amazon EBS 업데이트?
Nitro 시스템에 구축된 모든 EC2 인스턴스에서 io2 Block Express 볼륨 사용가능. 1ms미만 지원.
기존 io1으로 사용했다면 io2로 변경하자. 추가 비용 없이 다운타임 없이 가능하다.
Amazon Data Lifecycle Manager , Default Policy 기능 지원 = 최소한의 백업 정책 수립 가능.
Amazon Data Lifecycle Manager , EBS 스냅샷의 사전/사후 스크립트 자동화 지원 = application-consistent 스냅샷 생성 가능.
5
Amazon EFS 요금 및 성능 업데이트?
새로운 Amazon EFS Archive storage class 출시?
EFS Elastic throughput mode에서만 사용 가능
$0.01/GB 서울 지원.
1년에 몇번 사용하지 않는 데이터를 저장하는데 사용하자.
최소 저장기간은 90일.
Amazon EFS infrequent Access(IA) 스토리지 요금 최대 36% 인하?
EFS Elastic throughput mode에서만 사용 가능
$0.02/GB 서울 지원.
2023년 11월부터 자동 적용 = 기존에 IA사용하고 있었다면 비용이 자동 줄어듬.
성능개선 됨.
피일 시스템 별 읽기 IOPS 250,000 및 쓰기 IOPS 50,000 까지 지원한다.
AI/ML, 미디어 처리등 성능에 민감한 데이터 처리 가능.
Amazon EFS Replocation failback지원.
복제 페일백 가능해짐.
6
AWS Elastic Disaster Recovery 사후 검증 자동화? DRS
AWS로의 확장 가능하고 비용 효율적인 애플리케이션 복구.
모의 훈련을 서비스 중단 없이 가능하게 한다.
AWS Elastic Disaster Recovery (AWS DRS)는 온프레미스와 클라우드 서버의 복구를 지원.
7
AWS backup 업데이트?
중앙에서 관리하고 자동화된 데이터 보호.
AWS Backup 복구 테스트 서비스 출시.
복구에 소요된 시간 확인 가능.
기 정의된 보존 기간 이후 자동으로 복구 리소스 삭제.
다음
보안과 네트워크 신규 기능
https://brunch.co.kr/@topasvga/3707
몰아보기
https://brunch.co.kr/@topasvga/3642
감사합니다.
