구글 빅쿼리(Google BigQuery)
화면 구성
─ 클라우드 콘솔에서의 빅쿼리 화면 구성
이전 시간에 ‘빅쿼리(BigQuery) 시작하기’에서는 빅쿼리를 사용하는 이유와 가입 절차에 대해서 알아보았는데요. 이어서 클라우드 콘솔에서의 빅쿼리 화면 구성에 대해 알아보도록 하겠습니다.
염두해 두어야 할 사항
빅쿼리는 기업용으로 만들어진 클라우드식 데이터 웨어하우스 입니다. 즉, 기업에서 데이터를 빅쿼리에 적재해야 한다는 이야기 인데요. 만일 기업에서 빅쿼리에 쌓아 놓은(적재) 데이터가 없다면 급변하는 IT 기술에 대한 이해를 위하여 ‘아~ 이런게 있구나’ 정도로 이해해주세요. 그래도 빅쿼리 궁금하다! 하시는 분들은 리소스 우측 [+ 데이터 추가] 를 클릭하시면 [공개 데이터세트 탐색하기] 를 통해 빅쿼리를 사용해볼 수 있습니다.
데이터 추가 > 공개 데이터세트 탐색하기
이제 빅쿼리 화면을 살펴보겠습니다.
오늘 다룰 내용은 우리가 사용하게 될 빅쿼리 화면 구성 요소 입니다. 빅쿼리 공식 문서에서는 3개 영역으로 나누어 설명하지만 좀 더 세부적으로 설명하기 위하여 4개 영역으로 나눠 보았습니다.
1. 탐색 영역: 데이터를 추출/시각화 하기 위한 패널 제공
2. 리소스: 프로젝트/데이터세트/테이블에 접근이 가능한 영역
3. 쿼리 편집기: 데이터 추출을 위한 명령어(이하 쿼리) 작성 영역
4. 세부 정보 패널: 세부 정보 확인 가능한 영역
(*1 에서 선택한 메뉴에 따라 쿼리 기록/저장된 쿼리/작업 기록 확인이 가능)
[ 구글 클라우드 콘솔 – 빅쿼리 활용을 위한 화면 ]
딱! 데이터를 활용하기 좋은 용도로 구성되어있음을 알 수 있었습니다. 영역 별로 자세히 알아 보겠습니다.
1. 탐색 영역
데이터 추출을 위해 사용했던 SQL 명령문(이하 쿼리)에 대한 기록을 확인하거나 데이터 연동, 그리고 쿼리 스케줄링, 시각화를 할 수 있습니다. 이해하기 쉽도록 4개로 분류해 보았는데요.
1. 탐색 영역
① 데이터를 추출하는 쿼리 기록을 확인
– 쿼리 기록: 쿼리 편집기에서 실행한 쿼리 자동 저장
– 저장된 쿼리: 저장된 쿼리와 공유한 쿼리 표시. 빈번히 사용되는 쿼리를 저장하는 것이 유용
– 작업 기록: 프로젝트의 로드, 데이터 내보내기/가져오기, 복사 작업 표시
② 다른 곳에 저장된 데이터(ex. SaaS)를 빅쿼리로 가져오는 기능
– 전송: BigQuery Data Transfer Service 기능으로 다른 곳에 저장된 다양한 소스의 데이터를 가져올 수 있도록 하는 기능(API)
③ 스케줄 설정을 통하여 쿼리를 실행
– 예약된 쿼리: 실행 대기 중인 예약된 쿼리가 표시
– 예약: 전체 Google Cloud 조직의 빅쿼리 리소스를 한 곳에서 관리 가능 (*현재 베타 버전)
④ 추출한 데이터 시각화
– BI Engine: 데이터 스튜디오와 같은 시각화 도구와 통합되어 데이터 탐색&분석 속도를 높임
2. 프로젝트 접근이 가능한 영역 – 리소스
2. 리소스
리소스에서는 빅쿼리에 적재된 데이터를 관리할 수 있는데요. 테이블 ⊂ 데이터 세트 ⊂ 프로젝트 의 구조로 이루어져 있습니다.
[참고]
– 데이터 세트 : 테이블과 관리를 위한 가상의 테이블(뷰, View)에 대한 액세스를 구성 및 제어하는 데 사용되는 최상위 항목(컨테이너)
– 테이블 : 테이블은 행으로 구성된 개체(개별 레코드)가 포함. 각 레코드는 열(필드;field)로 구성
기본 테이블 : 기본 BigQuery 저장소에서 지원되는 테이블
외부 테이블 : BigQuery 외부 저장소에서 지원되는 테이블
뷰 : SQL 쿼리로 정의된 가상 테이블
쿼리를 가지고 데이터 세트에서 테이블을 만들어내는 게 빅쿼리를 활용하는 주 목적이라고 생각하시면 됩니다. 테이블/데이터 세트/프로젝트 를 선택함에 따라 4번 영역에서 상세정보 확인이 가능한데요. 이는 4번 영역을 설명할 때 자세히 다뤄보도록 하겠습니다.
3. 데이터 추출을 위한 명령어(이하 쿼리) 작성 영역 – 쿼리 편집기
3. 쿼리 편집기
빅쿼리에 저장된 데이터를 확인(추출)하기 위한 쿼리를 작성하는 영역입니다. 쿼리를 작성하고 [실행] 하면 4번 영역에서 결과를 확인할 수 있습니다.
[편집기 숨기기], [전체 화면] 을 통해 쿼리 편집기 필요 여부에 따라 화면 구성을 선택할 수 있고, 쿼리 작성 후에 수행하고 싶은 액션에 따라 [실행], [쿼리 저장], [보기 저장], [쿼리 예약] 등 기능을 제공합니다.
4. 세부 정보 패널
4. 세부 정보 패널
선택한 기능에 따라 표시되는 정보가 다릅니다. 하나씩 확인해 보겠습니다.
– 쿼리 기록
쿼리 편집기에서 실행한 쿼리가 자동 저장되어 다시 확인하고 싶은 경우에 유용하게 쓰입니다. 내용을 선택하면 쿼리 전문, 완료 시간 등 상세 정보를 확인할 수 있습니다.
– 저장된 쿼리
저장된 쿼리와 공유한 쿼리 표시를 확인할 수 있습니다. 빈번히 사용되는 쿼리를 저장하면 유용하게 사용할 수 있습니다.
– 작업 기록
프로젝트를 로드하거나 데이터 내보내기/가져오기, 복사한 작업 기록을 확인할 수 있습니다.
– 리소스 > 프로젝트 선택
프로젝트 하위에 데이터세트, 테이블이 존재하는지 알려줍니다. 상세 정보는 프로젝트 하위에 포함된 데이터세트, 테이블을 클릭하여 확인합니다.
– 리소스 > 프로젝트 > 데이터 세트 선택
데이터 세트에 대한 정보를 확인할 수 있습니다. 테이블을 만들거나 공유, 복사, 삭제도 가능합니다.
– 리소스 > 프로젝트 > 데이터 세트 > 테이블 선택
테이블 구조(명세, 스키마)를 확인할 수 있습니다.
테이블이 어떤 항목(필드)으로 구성되어 있고, 항목 별 데이터 유형이나 모드, 그리고 설명이 명시됩니다. 쿼리를 이용하여 데이터 추출하기 이전에 테이블의 스키마 정보를 확인하는 것을 권장합니다.
클라우드 콘솔에서 빅쿼리 화면 구성에 대해 데이터 추출 시 주로 사용하게 될 기능을 중심으로 설명해 보았는데요. 천천히 둘러보시면서 자세한 내용을 확인하고 싶으시다면 구글 클라우드에서 제공하는 제품 문서를 확인해 보시기를 권장합니다.
다음 시간에는 실제 클라우드 콘솔을 통하여 빅쿼리에 적재된 데이터를 추출하는 언어인 SQL 에 대하여 (기획자/운영자/마케터/데이터 분석가가 알아야 하는 선에서) 알아보도록 하겠습니다!
