brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Jan 27. 2023

 NCP 10탄-빅데이터 활용 34/35

빅데이터 활용을 위한 클라우드 서비스 한눈에 보기

네이버 빅데이터 서비스를 쉽게 알 수 있다.


<1> 데이터 시장 동향

<2> 데이터 기술

<3> 데이터 워크 플로상의 단계별 주요 상품들

<4> Data Catalog - 신규

<5> Data Flow - 신규

<6> Data Forest 

<7> Cloud Hadoop

<8> Search Engine Service

<9> Cloud Data Streaming Service

<10> 데이터처리 워크플로그에서 사용해 보기

<11> 사용 사례?

<12> 요약



<1> 데이터 시장 동향


빅데이터 분석 시장 매년 2배 증가 중

많은 기관의 데이터 중요성을 인식함

비즈니스 가치 창출



<2> 데이터 기술


1

Data Warehouse?

정형 데이터

기업의 의사 결정 및 BI 지원


2

Data Lake?

다양한 Raw Data 저장소

AI/ML 워크로드에 활용



<3> 데이터 워크 플로상의 단계별 주요 상품들


 서비스 포트 폴리오


1

Collect?

실시간 데이터 수집  Cloud Data Streaing Service

Cloud Log Analytics

Cloud IoT 등 서비스

데이터베이스를 이전하기 위한 Database Migration Service를 제공합니다.



2

데이터 베이스?

시계열 DB (2023 예정)

분산 DB 서비스 (2023 예정)

GraphDB (2023 예정)



3

분석?

통합된 데이터를 직접 분석할 수 있도록 Interactive Query 서비스 제공 예정 (2023 예정)

비즈니스 인사이트를 얻기 위한 Data Visualization 제공 예정(2023 예정)



4

통합 플랫폼 형태의 서비스?

고객이 보유한 데이터와 네이버 데이터를 연동하여 분석할 수 있는 Cloud Data Box

데이터 워크플로우와분석 환경을 서버리스 형태로 이용 가능한 Data Forest

ML 학습 모델 개발을 위한 환경 제공 서비스가 있다.  ML Platform




<4> Data Catalog - 신규


데이터 자산의 활용성을 강화하여 서버리스 메타데이터 통합 / 관리 서비스



1

데이터 소스로부터  메타데이터를 탐색하고 추론을 통해 수집하는 탐색 영역과

수집한 메타데이터를 쉽게 찾을 수 있는 검색영역


2

Cloud DB나 Object 스토리지에서 데이터를 가져와서 사용한다.




<5> Data Flow - 신규


1

다양한 형태의 데이터를 가져와 비즈니스 목적에 적합한 형태로 변환하는 End-to-End  데이터 처리 워크 플로우


2

서버리스



<6> Data Forest 


빅데이터 통합 분석 플랫폼

GPU 리소스 활용한 딥러닝 분석 환경



<7> Cloud Hadoop


관리형 하둡 클러스터 서비스

오픈 소스 기반의 빅데이터 분석 서비스



<8> Search Engine Service


관리형 Elasticsearch 서비스

다양한 형태의 데이터를 검색, 분석, 시각화



<9> Cloud Data Streaming Service


관리형 Apache Kafka 서비스

실시간 스트리밍 데이터 처리



<10> 데이터처리 워크플로그에서 사용해 보기



1

CloudDB, Object Storage 또는 외부 서버나 애플리케이션 등의 로그, 파일 등을  Cloud Data Streaming , Cloud hadoop으로 수집


2

Data Flow 서비스를 통해 데이터 수집과 전처리를 할 수 있다.


3

서드파트 제품 호환?

Qlik Replicate를 통해 Cloud Hadoop 등의 상품으로 무중단 데이터 마이그레이션 가능

Pentaho 설루션으로 ETL작업을 수행할 수 있다.




<11> 사용 사례?


1

배치 분석 사례


2

로그와 같은 실시간 분석 사례


3

Data Forset 서비스활용 사례

실시간 분석 워크 로드 구현 가능



<12> 요약


체계적으로 분석할 수 있는 환경 마련




다음은

https://brunch.co.kr/@topasvga/2960


감사합니다.

매거진의 이전글 NCP 10탄-데이터 분석 파이프라인 33/35
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari