AWS 47탄-11. 분석, 데이터베이스 2024-1월
AWS RE:INVENT
Amazon Q가 분석 서비스에서 어떻게 적용되었는지 알아보자.
ZERO-ELT 에 대해 알아보자.
<1> 분석
<2> 데이터베이스
<1> 분석
1
Amazon Q with AWS analytics 서비스들.
Amazon Q generative SQL in Amazon Redshift?
래드 쉬프트에 적용된 생성형 Q
쿼리 에디터에 Q를 도입함.
자연어로 쿼리함. = 쿼리 작성 시간을 단축함.
생성형 SQL을 사용하여 일반 영어로 쿼리 요청을 제출하여 대화형 인터페이스로 더 빠르게 SQL 쿼리 작성.
추가 질문을 통해 쿼리를 구체화 할수 있음.
2
Amazon Q in Amazon QuickSight?
퀵사이트에 도입된 Q
프리뷰
자연어로 질문을 하여 응답 받음.
자연어로 차트를 생성해달라고 요청 할수 있음.
기존 차트를 자연어로 바로 수정가능 .
인사이트를 쉽게 구축하고 사용할 수 있게 해주는 생성형 BI 어시스텐트.
자연어를 입력하면 데이터로 스토리로 작성해달라고하면 만들어 준다= 데이터 기반 스토리를 만들어준다.
3
Amazon Q data intergration in AWS glue?
글루 스튜디어 노트북 내에서 Q 사용가능하다.
글루에 대한 사전 지식 없이도 사용가능.
예정
4
Zero-ETL ?
Amazon Redshift Zero-ETL 통합?
데이터를 복사하지 않고 바로 데이터에 접근할 수 있는 Zero-ETL.
프리뷰
오로라, 다이나모 디비, Mysql에서 수동으로 데이터 파이프라인을 구성하지 않고 바로 레드 쉬프트로 데이터를 이동해 분석할수 있게 되었다. 파이프 라인 없이 가능하다.
5
Amazon OpenSearch Service Zero-ETL 통합?
with Amazon S3 와 제로 ETL 제공가능하다.
S3 버킷에서 직접 쿼리 가능하다. 예전에는 오픈 서치 데이터를 이동했어야 했었다.
S3와의 Direct Query 통합.
S3의 운영 로그 또는 Data Lake데이터 분석.
복잡한 ETL 파이프라인 개발, 운영 불필요.
6
OR1 for Amazon OpenSearch Service?
S3를 기본 스토리지로 하는 Amazon OpenSearch Sevice 클러스터를 생성가능.
OR1 은 경제적으로 OR1은 사용한 만큼 지급와 예약 인스턴스를 제공한다.
기존 인스턴스 구성보다 30% 향상된 가격 대비 성능.
제로 타임 Recovery Point Object(RPO)의 이점.
EBS 볼륨은 기본 스토리지로 사용되며 데이터는 도착하는 즉시 S3에 동기식으로 복사.
인덱싱 고부하 워크로드에 적합.
7
Vector engine for Amazon OpenSearch Serverless?
밀리세컨드 단위의 응답
Amazon Bedrock and SameMaker와 같은 AI/ML 서비스를 사용하여 벡터 임베딩을 생성하고 저장합니다.
사용 : RAG , Fraud detection , recommendation engines
8
AWS Cleam Rooms ?
기업과 파트너가 상대방의 기본 데이터를 공개하거나 복사하지 않고도 공동 데이터 세트를 보다 쉽게 분석하고 협업 할수 있도록 지원합니다.
9
AWS Cleam Rooms Differential Privacy ?
프리뷰
완전 관리형
몇 번의 클릭만으로 차별화된 개인 정보 보호 제어를 통해 사용자의 개인 정보 보호.
10
AWS Clean Rooms ML?
프리뷰
사용자가 사용자 파트너가 데이터를 복사하지 않고도 사용가능 하다.
기본 데이터를 공유하지 않고 파트너와 머신 러닝 적용.
ML모델을 구축, 교육 및 배포하기 위해 파트너와 데이터를 공유할 필요가 없음.
11
Amazon DataZone ?
데이터 디스커버리를 향상시키는 생성형 AI 기능.
기업이 데이터를 상품처럼 활용하도록 지원.
분석 사용 사례에 대한 권장 사항을 포함할 수 있습니다.
구성?
데이터 생산자 (여러 소스 및 계정 /리전에 걸쳐 있는 데이터 제공) ----Amazon DataZone---데이터 소비자.
12
Amazon Redshift ?
데이터 공유 기능 - 다중 데이터 웨어하우스 쓰기 지원?
기존에는 읽기만 가능했다.
프리뷰
워크로드 격리 및 실시간 협업 쓰기.
13
REDSHIFT에서 Apache Iceberg 지원?
REDSHIFT에서 Apache Iceberg 오픈 테이블 형식 쿼리.
아파치 아이스버그 테이블을 지원하는 정식 버전을 발표
14
AWS Glue ?
Glue Data Quality 이상 탐지 및 동적 규칙?
프리뷰
데이터 품질 문제를 사전에 파악 , 데이터 사용자가 확신을 갖고 비즈니스 결정을 내리도록 지원한다.
ML기반 이상 탐지 알고리즘을 적용하여 생성.
<2> 데이터베이스
1
Amazon RDS db2?
클라우드에서 IBM DB2데이터베이스를 쉽게 설정, 운영 및 확장할 수 있습니다.
서울리전에서 사용가능하다.
기존 BYOL 라이센스도 지원한다.
2
Amazon Aurora Limitless Database?
샤딩
단일 인스턴스의 한계를 뛰어넘는 수평 확장.
단일 PostgrSQL 인스턴스의 현재 제한을 넘어 초당 수백만 개의 쓰기 트랜잭션으로 자동 확장.
페타바이트 규모의 데이터 관리
서버리스 및 빠른 확장.
3
Amazone Elasticache Serverless?
일라스틱 캐쉬의 서버리스 제공!!!
인프라 관리 없이 즉시 확장.
1분 이내에 고가용성 캐시 생성.
사용한 만큼 비용 지불
서버리스라 과잉 프로비저닝 방지 가능하다.
레디스 7.1과 맴캐쉬디 1.6 버전과 호환 된다.
서울 리전에서 사용 가능.
리소스 제한 가능 -수정 가능.
4
Vector Search (Verctor Embedding) ?
구조화되지 않은 데이터는 벡터로 변환되어 생성 AI 애플리케이션에 사용됩니다.
5
pgvector 는 ?
포스트그래 벡터.
6
Vector search for Amazon MemoryDB for Redis?
Redis는 높은 처리량과 높은 재현율을 갖춘 가장 빠른 AWS벡터 검색 기능.
한자리수 밀리초 단위 벡터 처리 검색 = 인덱스 업데이트도 밀리초 단위
7
Amazone DocumentDB Vector Search?
높은 스키마 유연성이나 JSON데이터가 필요한 사용 사례의 경우 DocumentDB 사용
벡터 저장, 검색, 색인 및 검색
Json 형식 데이터 베이트
Amazone DocumentDB 벡터 검색은 밀리초의 응답 시간을 제공합니다.
8
Amazone Netptune Analytics Vector Search?
Netptune
대형 그래프의 빠른 분석, 높은 처리량의 분석 쿼리 및 벡터 검색.
그래프 워크로드를 위한 단일 서비스.
고성능 그래프 분석 쿼리 및 알고리즘.
생성적 AI 애플리케이션을 위한 벡터 저장 및 검색.
다음
AI/ML , 생성형 AI
https://brunch.co.kr/@topasvga/3710
(몰아보기) 47탄 - AWS 신규 서비스
https://brunch.co.kr/@topasvga/3642
감사합니다.
