분산형 이벤트 스트리밍 플랫폼, Confluent
#EventStream #RealTimeData
안녕하세요. 지티플러스입니다.
빠르게 변화하는 비즈니스 상황에서, 기업들이 데이터를 효율적으로 처리하고 업무를 최적화하는 것의 중요성이 커지고 있습니다. 데이터의 흐름을 실시간으로 처리하는 '이벤트 스트리밍'이 주목받는 이유가 여기에 있습니다. '분산형 이벤트 스트리밍 플랫폼'은 대용량의 데이터를 실시간으로 수집, 분석하고 다양한 애플리케이션과 서비스에 전달하는 역할을 합니다.
이번 글에서는 대표적인 분산형 이벤트 스트리밍 플랫폼 'Confluent'에 대해서 소개하겠습니다.
이벤트 스트리밍이란?
이벤트 스트리밍이란 이벤트(데이터의 작은 조각)를 실시간으로 수집/처리/분석하고, 다른 시스템과 통합하여 가치있는 정보를 생성하는 작업을 말합니다. 이벤트 스트리밍은 비즈니스에서 발생하는 다양한 상황별로 적용될 수 있습니다. 영업 활동, 고객 거래, 결제, 구매에 따른 물류 이동 등을 이벤트라고 인식하고, 그것을 실시간 스트리밍 데이터로 받아들여 분석하는 것이 이벤트 스트리밍의 핵심입니다.
Confluent 란?
Confluent는 Apache Kafka를 기반으로 하여 실시간으로 스트리밍 데이터를 저장 관리할 수 있는 분산형 이벤트 스트리밍 플랫폼입니다. 분산형 이벤트 스트리밍 플랫폼은 시스템을 구성하는 다양한 컴포넌트 간의 상호작용을 파악하고, 발생하는 데이터를 실시간으로 처리해줍니다.쉽게 말해, 어플리케이션 간 메시지를 교환하기 위해 사용되는 메시징 시스템이라고 생각할 수 있습니다.
Confluent의 주요 3가지 기능
1. Publish & Subscribe
Producer는 메시지를 생성하여 특정 Topic에 발행(Publish) 하면, Consumer가 해당 Topic을 구독(Subscribe) 함으로써 메시지를 수신하는 방식입니다.
이를 통해 다양한 Consumer Group이 동시에 동일한 Topic을 구독하고 메시지를 처리할 수 있으며, 이러한 모델은 실시간 데이터 처리, 이벤트 기반 아키텍처, 분산 시스템 등 다양한 시나리오에서 활용됩니다.
2. Store & Streaming ETL
데이터 스트림을 저장하고 변환하는 과정을 의미합니다.
ETL은 "Extract, Transform, Load”의 약어로, 데이터를 추출하여 변환한 다음 새로운 형식으로 로드하는 데이터 처리 프로세스를 나타냅니다.
이를 통해 데이터의 보존과 히스토리 추적이 가능하며, 데이터를 추출하여 필요한 형식으로 변환하여 데이터 병합 및 보강 등 다양한 데이터 처리 작업에 유용합니다.
3. Process & Analyze
데이터 스트림을 가공하고 분석하는 과정을 의미합니다.
데이터 스트리밍 환경에서 데이터를 실시간으로 처리하고 분석함으로써 데이터 품질 개선, 패턴 및 이상 탐지, 실시간 예측 등의 유용한 통찰력과 정보를 도출할 수 있습니다.
이를 위해, ksqlDB, Kafka Streams 라이브러리 등과 같이 다양한 도구와 기능을 제공합니다.
Confluent 자료 확인하기
* 컨플루언트 교육 현장 스케치 보러가기
* GetTechDay 2022 컨플루언트 소개 다시보기
* GTPlus 컨플루언트 브로셔 다운받기
* 컨플루언트 국내 고객 사례 다운받기
