147.구글 온보드- 데이터 수집,처리 Pub/Sub

<1> Pub / Sub

<2> Dataflow 

<3> Data Studio 를 활용해 보라.

<4> FEATURE 엔지니어링 ?

아키텍처

데이터 -------   Pub/Sub --------data flow (시간이 맞지 않는것등 정재함)---- Big query / Cloud Storage ---  가시화

<1> Pub / Sub

데이터 수집방법 

1

메시지 받는 구조는 어떻게 가는게 좋은가 ?

중간에 매개체를 두는 구성을 한다.

수신자가 다운이 되더라도  보유했다가 메시지를 처리한다.

2

Pub / Sub는  글로벌 메시지 큐   

서버리스로 관리가 필요 없음

3

토픽과 서브 스크립션  2가지가 있다.

토픽으로 오면    다양한 서브 스크립션이 있다.  

<2> Dataflow 

1

GUI는 없다.

코드  기반이다.

2

제공된 템플릿을 활용해서 사용하라.

// 검색

3

오토스케일링 지원한다. 워커노드 자동증가한다.

4

아키텍처 ?

Apach Beam 작업 제출 ------  Dataflow ------  작업실행 -- 서비스 , 그래프 최적화 등 

5

 완전관리형

일괄 및 스트리밍 처리 통합

오픈 소스 프로그래밍 모델  사용,  아파치 Beam

워커노드의 지능적 처리

<3> Data Studio 를 활용해 보라.

<4> FEATURE 엔지니어링 ?

머신러닝하는데 필수이다.

일반적인 처리시간은 ?

1차 

Dataflow  (3개월) - 오래 걸림

2차

Data 프록으로 처리

감사합니다.