Google Cloud OnBoard 2019
오늘의 영웅은 박기택 강사
퍼블릭클라우드의 3인방(AWS, Azure, GCP)으로 급 부상 중인 구글 클라우드의 최신 내용을 알아볼 수 있는 세미나.
101 개요 수준이었지만 그 어느 세미나보다도 내용이 알찼다.
일시: 2019.06.04 오전10시~오후5시
장소: 세종대 광개토관 컨벤션센터
세종대 정문
세미나 장소인 세종대 광개토관
8시반 등록 오픈 10시에 세미나 시작, 시간 간격이 너무 크다.
키노트 양승도님
구글 서비스 사용자 수는 넘사벽
Modernization, 현대화라는 번역이 거슬린다. 
구글은 콜드 포테이트 라우팅 제공하는 인프라를 가짐(해저 케이블)키노트 핵심 요약
10억명이상 사용 서비스가 8개(구글, 크롬,유튜브 등)
DevOps를 넘어서 SRE(사이트 신뢰성 엔지니어링)
유일 해저광케이블 인프라: 콜드 포테이토 라우팅 제공
스냅챗: Google App Engine 사용
포켓몬: 컨테이너 사용
K8S: GKE(ngine), GK OnPrem
Walgreen: Apigee(파트너를 위한 플랫폼 역할 구현)
오늘 세미나의 영웅 박기택씨, So 스마트&스마일&착하심강의 핵심 정리
[모듈1] GCP소개
GCP는 컴퓨팅아키텍처의 스펙트럼 제공: IaaS(Compute 엔진), Kube 엔진, PaaS(App엔진), 서버리스로직(클라우드 Functions), 관리형 서비스를 제공
20개 리전, 리전당 3개이상의 존(zone), 2020년 서울 리전 생김
구글 네트워크는 해저 광섬유 케이블로 연결됨
Lock-in 대응책으로 개방형API 및 오픈소스(n-소스) 전략
보안기술중 U2F(FIDO 유니버설 2단계) 인증 지원
이 장표가 GCP2019H1의 현황을 보여줌
참고: 클라우드 서비스 스펙트럼[모듈2] GCP 시작하기
리소스 계층구조: 프로젝트 생성후 리소스 할당, 레벨별로 권한 경계 정의
IAM(identity & access management): Cloud Identity, 서비스 계정(app 또는 VM이 소유)
IAM 3가지 유형: Primitive, Predefined, Custom Roles/개인이 아닌 그룹에, 최소 권한 할당 권장
GCP 사용방법 4가지: Console, CLI, Colsole mobile app, REST API(API Explorer로 신속하게 탐색)
리소스 계층구조
리소스 계층구조
맛있는 점심 도시락
식사후 산책, 애지원 채플[모듈3] VM
VPC(Virtual Private Cloud)는 글로벌 레벨, Subnet은 리전 제약없이 SDN으로 구성
서로 다른 리전간 내부IP통신도 가능하고 같은 리전간 외부IP통신도 가능
VPN, Interconnect, Direct peering 등 다양한 연결옵션 제공
클라우드 글로벌 LB: HTTP(S), CDN, DNS --> 구글만의 콜드 포테이토 라우팅 덕분
콤퓨트 엔진: 많으쓰면 더 할인, 적정크기 권장, 선점형VM
가상 네트워크 설명1
가상 네트워크 설명2
GCP 콘솔에서 직접 시연[모듈4] Storage
다양한 스토리지 옵션Cloud Storage: Blob(파일), 다중리전형/리전형/Nearline/Coldline
Cloud SQL: MySQL과 PostgreSQL
Cloud Spanner: 수평확장가능한 RDB(처리량에 상관없이 쿼리응답지연이 일정하게 유지)
Cloud Bigtable: NoSQL, Dataflow와 Dataproc으로 빅데이터 처리 가능(정말 간편!)
Cloud DataStore: 수평 확장가능한 NoSQL(App엔진과 궁합, 무료 일일할당량)
인스턴스와 스토리지는 분리, but 광속 연결
구글 스토리지 스펙트럼
예시 아키텍처[모듈5] Container
컨테이너 사용 이유: 일관성, loose coupling, workload migration, agility
k8s: lock-in 배제, 롤링업데이트, 스토리지 추상화, 부하분산, autoscaling
GKE: k8s기반 Compute Engine인스턴스 및 리소스 사용
GKE의 보조: Container Builder(도커컨테이너 img생성), Container Registry(사설 도커허브)
가상화
가상화
컨테이너[모듈6] App Engine
scalable web app 및 모바일 back-end 구축에 적합
일일무료할당량 제공
standard: java, py, php, go 특정버전/샌드박스 제약준수(로컬 f/s에 쓰기 금지, 요청 타임아웃60초)
flexible: 컨테이너형 앱빌드배포(런타임을 Dockerfile로 패키화-GKE와 충돌?), 샌드박스 제약없음(App 엔진 리소스 접근가능, Node.js와 HTTP요청 런타임지원), SSH지원
Cloud Endpoints: API생성과 유지관리 지원, RESTful i/f
Apigee Edge: API보안과 수익창출 지원
[모듈7] 클라우드의 개발, 배포, 모니터링
Source Repositories(깃허브)
Functions: serverless, JS로 작성됨(GCP 관리형 Node.js 환경에서)
Deployment Manager
Stackdriver: 모니터링,로깅,프로파일러,에러리포팅,디버거,트레이스
※ Azure DevOps보다는 확실히 약한 느낌
[모듈8] 클라우드의 빅데이터와 머신러닝(1/2)
Dataproc: 관리형 하둡(Hadoop, Spark/Hive/Pig를 빠르고 쉽게 실행), 클러스터 생성에 단 1분30초
BigQuery: 수백TB를 실시간 분석 가능(실데모: 700GB 큐리에 10초), SQL구문 사용, 일종의 Serverless, Compute와 Storage가 peta-bit급 네트워크
Pub/Sub: 다대다 비동기 메시징 지원, Dataflow와결합 IoT 데이터수집,푸시알림
Dataflow: Beam = Batch + Stream, ETL -> 데이터이동,필터링,그룹핑,변환
Datalab: 대화형 데이터 탐색도구: Jupyter기반, 텐서플로 설치없이 사용가능
빅데이터의 맵-셔플링-리듀스
하둡이 15년 넘은 기술이구나
기존에는 빅데이터 처리에 엄청난 노력이 들어감
현재는 빅데이터 처리에 단 1분30초(700GB 시연)
빠른 빅데이터 처리 원리
Pub/Sub 필요성
메시지 버스의 크기는 커야한다
PubSub을 서버리스로 호출해 사용하면 됨
데이터 처리 파이프라인: ETL부터 빅데이터 분석까지[모듈8] 클라우드의 빅데이터와 머신러닝(2/2)
Vision API
Speech API
NL API
Translation API
Video Intelligence API
데이터과학의 대중화(민주화보다 강사의 번역 맘에 듬)
1달 pass
GCP $300 크레딧 가입
구글 개발자 커뮤니티
마치고 세종대 정문의 타코야끼로 마무리본 브런치에서는 책자에는 없는 내용 위주로 정리했고, 책자의 내용은 구글 제공 파일로 첨부
