구글 빅쿼리(Big Query) 시작하기
구글 빅쿼리란?
빅쿼리는 확장성이 뛰어나고 가격 대비 성능이 좋은 기업용 서버리스 데이터 웨어하우스 입니다.
객체 스토리지(메타데이터와 고유의 식별자를 통해 객체로 저장), 스프레드시트의 데이터, 관리형 열 형식 스토리지(분석 앱에서 데이터 열을 빠르게 검색하는데 최적화) 를 통해 논리적 데이터 웨어하우스를 생성하여 모든 배치와 연속적으로 생성되는 스트리밍 데이터를 분석합니다.
빅쿼리를 사용해야 하는 이유와 장점
빅쿼리 공식 페이지에서 장점이나 기능, 그리고 사용 사례 등 궁금해할 수 있는 전반적인 내용을 확인하실 수 있습니다.
소개되어있는 장점 중 두드러지는 점은 일단 빅쿼리를 사용하면 초기 셋팅이나 확인하고자 하는 정보를 처리하는 데에 소요 시간이 짧아서 구축/활용의 사이클을 앞당긴다는 점 입니다. 특히 페타바이트 급(페타바이트라고 하면 2012년 기준으로 유투브에서 한달동안 저장하는 데이터)의 데이터를 SQL 쿼리를 통해 확인할 수 있으며, SQL 쿼리를 실행하여 7 테라 바이트(테이블에서 천억개의 행)를 30초 이내에 처리할 수 있다고 합니다. 이에 스트리밍 데이터를 수집하고 통계 정보로 시각화하는 것이 용이합니다.
이러한 특징은 우리가 가진 데이터 그리고 앞으로 처리해야 할 실시간 데이터를 적재하고 분석하는 데에 있어 가장 큰 장점입니다.
빅쿼리를 사용해야하는 이유와 어떻게 활용해야 할지에 대해 고민해 보았는데요, 이제 셋팅해보겠습니다.
▶ Google Cloud Platform(이하 GCP)에서 BigQuery 사용하기
1. Google Cloud 접속하여 구글 계정으로 로그인합니다.
2. 새 계정으로 로그인하는 경우 ‘새 계정 시작’ 동의를 해주세요. 이는 GCP에 처음 접근했을 때 숙지해야할 점에 대해 설명합니다.
3. 로그인 하여 첫 페이지 [무료로 시작하기] 클릭. 새로 시작하는 계정이 아니라면 [무료로 시작하기] 버튼이 없고, [콘솔] 로 접근 가능합니다.
4. GCP 이용 전 필요한 정보 및 결제 수단을 등록합니다.
결제 수단을 등록하여도 무료크레딧 제공으로 12개월 동안은 과금되지 않습니다. 결제수단 정보를 입력하는 것은 자동가입 방지를 위함이고 12개월이 지나서 유료 계정으로 직접 변경하지 않으면 추가 결제되지 않는다고 합니다.
입력 후 [무료 평가판 시작하기] 를 누릅니다.
5. 신청 완료.
6. [My First Project]를 눌러서 프로젝트를 확인합니다. 기본 생성된 프로젝트를 선택하거나 신규로 생성할 수 있습니다.
1) 기본 생성된 프로젝트 선택하면 그에 대한 대시보드로 이동합니다.
2) 새 프로젝트 선택하면 프로젝트를 선택할 수 있는 화면으로 이동합니다. 프로젝트 이름과 프로젝트가 위치할 폴더를 선택할 수 있습니다. 프로젝트 ID도 함께 생성되는데 이는 수정이 불가합니다.
7. BigQuery 를사용하기 위하여 좌측 메뉴를 확인합니다. BigQuery 는 빅데이터 섹션에 있습니다. [BigQuery]에 마우스를 오버하면 상단에 고정할 수 있는 핀 기능이 나타납니다. 이를 클릭하면 스크롤을 내리지 않고도 상단에서 바로 확인이 가능합니다.
8. BigQuery 를 클릭합니다. 처음을 환영하는 안내문을 확인할 수 있습니다.
9. BigQuery 대시보드에서 리소스를 확인하거나 신규 데이터셋을 생성&조회할 수 있습니다.
데이터셋은 프로젝트 하위에 속합니다. 데이터를 빅쿼리에 로드하는 것은 최소한 한 개 이상의 데이터셋을 만든 후에 가능합니다.
회원가입부터 빅쿼리 데이터셋 생성까지 GCP 초기 설정에 대하여 알아보았습니다.
절차에 따라 진행해보시고 궁금한 점 있으시면 댓글 달아주세요 �
