152. GCP 빅쿼리 (이론,절차)-5/8
cloud storage에 로그 저장하기
cloud storage로 부터 빅쿼리로 데이터 가져오기
빅쿼리 실행하기
첫번 실습은 실패할것이다.
바로 성공하려면 두번째 과정부터 해도 좋다.
<1> cloud storage에 로그 저장하기
<2> cloud storage로 부터 빅쿼리로 데이터 가져오기
<1> cloud storage에 로그 저장하기
<2> cloud storage로 부터 빅쿼리로 데이터 가져오기
1
bigquery 시작
2
프로젝트 선택 - 오른쪽 - [데이터세트 만들기] 클릭
3
logdata
데이터 위치는 서울(asia-northeast3)로 맞춰준다.
5
테이블 만들기 >
소스
google cloud storage로 선택
gs://cloud-training/gcpfci/access_log.csv
테이블 이름
accesslog
스키마
자동감지 체크
테이블 만들기
6
소스가 미국이라 안된단다.
스토리지가 미국이고 , 빅쿼리는 한국이면 못가지고 오나보다~
7
데이터 세트를 다시 한국에 만들자
8
테이블 미국으로 다시 만들자
9
새로 고침
10
한국에 만든 데이터 세트 logdata는 삭제하자
11
편집기에서 쿼리 날리기
select int64_field_6 as hour, count(*) as hitcount from logdata.accesslog
group by hour
order by hour
처리 시간 나옴
결과 나옴
<3> bq cli로도 확인할수 있다.
1
클라우드 쉘을 실행한다.
2
bq 명령어로 볼수 있다.
bq query "select string_field_10 as request, count(*) as requestcount from logdata.accesslog group by request order by requestcount desc"
다음 공부
https://brunch.co.kr/@topasvga/1516
감사합니다.
