brunch

You can make anything
by writing

C.S.Lewis

by GTPlus Feb 17. 2022

글로벌 클라우드 3사가 선택한 데이터 복제 기술은?

최근 기업들은 의사결정에 필요한 전체적인 그림 확보를 위해 민첩성과 탄력성을 높이고자 조직의 데이터를 클라우드 데이터 레이크 및 데이터 웨어하우스로 이동시키고 있다. 그 과정에서 기존의 데이터 통합 솔루션은 수동적이고 복잡한 프로세스로 인해 효율성이 떨어지며, 진행한다 하더라도 정작 데이터를 적용해야 하는 비즈니스 단계에 적합한 데이터가 아닌 경우가 발생한다. 따라서 이런 기존 솔루션의 한계를 보완한 모던 CDC 솔루션(Change Data Capture)이 주목받고 있다.

전 세계 수백 개의 기업이 사용하는 ‘클릭 리플리케이트(Qlik Replicate)’

클릭 리플리케이트는 시스템의 중지 없이 데이터를 복제해 클라우드로 이동해(zero-time) 클라우드 환경의 데이터에서 보다 쉽고, 안전하며, 효율적으로 가치를 얻어낼 수 있도록 지원한다.

또한, 소스에서 대상으로 실시간으로 데이터를 이동하며, 모든 데이터는 엔드 투 엔드 복제를 완전히 자동화하는 간단한 그래픽 인터페이스를 통해 관리된다. 데이터 엔지니어는 간소화되고 에이전트가 없는 구성을 통해, 선도적인 변경 데이터 캡처(CDC) 기술을 기반으로 데이터 파이프라인을 쉽게 설정, 제어 및 모니터링할 수 있다.

아래 화면과 같이 수동으로 정보를 입력할 필요 없이 필터, 단일 테이블/뷰에 대한 변환 정의 및 전역 변환을 정의하는 GUI 대화 상자를 제공하는 Expression Builder 기능을 통해 규칙을 쉽게 작성할 수 있는 특징을 가진다.

클라우드 별 베스트 프랙티스 제공으로, 어떤 클라우드 선택해도 지원 가능

클릭(Qlik)은 대표적인 클라우드 3개사 (Amazon Web Services(AWS), Microsoft Azure, Google Cloud Platform)의 기술 파트너로 모든 주요 데이터베이스, 데이터 웨어하우스에서 데이터 복제, 수집 및 스트리밍을 가속화하는 데 도움이 되는 솔루션을 제공한다. 따라서 사용자가 어떤 클라우드를 선택하든 지원할 수 있도록 Amazon Redshift, Azure Synapse, Google Big Query 및 Snowflake에 대한 베스트 프랙틱스를 제공하고 있다.

이러한 클릭의 기술력을 기반으로 클릭 리플리케이트는 다양한 원천 데이터 소스에서 AWS의 S3, Azure의 ADLS 및 GCP의 GCS로 실시간으로 데이터를 복제할 수 있으며, AWS의 RedShift 또는 EMR, Azure의 SQL데이터 웨어하우스 또는 HDInsight와 같은 다양한 특수 분석 환경에서 직접 변경된 데이터를 로드할 수 있다.

클라우드 환경에서의 데이터 복제에 대한 더 자세한 정보가 필요하다면 2월 10일부터 4회에 걸쳐 진행되는 ‘케이스로 알아보는 모던 CDC 세미나’ 참석을 추천한다. 온라인으로 진행되는 이번 세미나는 ‘데이터 복제 사용 케이스’를 중심으로 소스 설정과 타깃 정의 등 데이터 전문가가 궁금해할 실전 정보를 다뤄 복잡한 데이터 환경에서 스크립팅하는 데이터 관리자(DBA)들에게 매우 유용할 것이다. 지티플러스 블로그에서 행사 참여 신청을 할 수 있다.