배치 처리 - 데이터를 지원
스트림 처리 - 연속 데이터 처리
수집과 처리가 분리되어야 한다.
여러 스트림 함께 수집 되어야 한다.
여러 소비자가 사용할수 있어야 한다.
kinesis data streams - 데이터 수집 및 스트리밍하여 순서대로 실시간 처리, 1번째로 만들어짐
kinesis data firehose - 데이터 스트림을 좀 간단하게 사용하게 하자
kinesis data anlytics - 내부적으로 분석, sql 쿼리를 사용해 분석
kinesis video streams - 동영상 처리, 분석을 위한 처리, 저장
구성 ?
1
수집되는 데이터중 따로 모으고 싶다는것을 간단하게 처리가능
수집되는 데이터중 특정 단어가 포함된것을 스트림으로 넘겨주던지 할수 있다.
S3를 룩업 데이블로 참조 할수 있다.
SQL로 데이터를 추출할수 있도록 해주는것이다.
1초 처리
소스 : 파이어호스, 키네시스 스트림
비디오 형식 데이터를 캡춰해서 사용
고용량의 데이터
오디오 , 열데이터 수집 저장, CCTV데이터
CCTV 입력 - video streams - AWS서비스
https://brunch.co.kr/@topasvga/2698