GA4에서 빅쿼리는 필수인가?
그로스해킹과 데이터 기반 퍼포먼스 마케팅
안녕하세요. 허들러스의 유성민 대표입니다. 구글 애널리틱스를 사용하시는 분들에게 한 가지 아쉬운 소식, 또는 앞으로 GA4의 방향성에 대해서 이야기하고 싶습니다. 갑자기 이러한 글을 작성한 이유는, GA4에서 한 가지 큰 이슈가 발생했기 때문입니다.
2022년 11월 7일, 구글 애널리틱스에서는 하나의 업데이트를 발표합니다. 바로 GA4 API 할당량 제한에 대한 업데이트입니다. 단순히 구글 애널리틱스만 사용하시던 분들에게는 다소 낯선 단어들의 향연입니다. 조금 더 쉽게 설명해보겠습니다.
1. 데이터 시각화, 어떤 용도로 사용될까요?
우리가 데이터 시각화를 활용하는 목적은 크게 2가지로 나뉠 수 있습니다.
1. 분석용 : 실제로 GA4에 적재된 고객들의 로그 데이터를 조합해보고 분리해보면서 인사이트를 찾는 분석 용도로서의 데이터가 있을 것입니다.
다양한 분석이 가능한 탐색 리포트분석을 하고자 한다면, GA4에서 제공해주는 탐색 리포트 기능을 통해서 다양한 유형의 차트를 만들 수 있습니다. 또 다양한 유형의 차트는 우리가 몰랐던 많은 인사이트들을 제공해줍니다. 허들러 스는 해당 탐색 리포트의 여러 사례들을 실제 고객사에 도입시키며 그 가치를 증명하고 있습니다. 탐색 리포트에 대한 내용은 다른 글에서 자세히 다뤄보겠습니다.
2. 소통용 : 데이터가 분석을 위한 용도만 있는 것은 아닙니다. GA4를 잘 모르더라도 많은 이들이 쉽게 이해할 수 있게 시각화한 대시보드를 만들어서 커뮤니케이션을 위한 용도로서도 사용될 수 있습니다.
데이터 시각화는 다른 이해관계자들과의 소통을 하기 위한 용도로도 많이 사용됩니다. 이 경우, 어렵고 복잡한 분석에 목적을 두는 것이 아닌 현재 주요 KPI를 누구나 쉽게 이해할 수 있도록 대시보드를 만드는 것이 필요합니다. 누구나 이해할 수 있는 데이터 대시보드를 만드는 것은 GA4 탐색 리포트에서 하기에는 제한이 있습니다. 물론 시각화는 가능하지만, 디자인적 자유도가 없고, 정해진 틀에 맞춰서 리포트를 만들 수밖에 없기 때문입니다. 그래서 우리는 구글 애널리틱스의 데이터를 가지고 와서 루커 스튜디오(구, 구글 데이터 스튜디오)라는 툴과 연동해서 사용합니다.
GA4의 데이터를 연동해서 시각화하는 루커 스튜디오2. 그래서, 문제가 무엇인가?
한국 시장에서도 많은 분들이 루커 스튜디오를 활용해, GA4에 있던 데이터를 시각화하여 자동화 대시보드를 만들곤 했습니다. 저희 허들러스 역시 자동화 대시보드를 만들어드리는 역할을 했습니다. 그런데 갑자기, 11월부터 루커 스튜디오에서는 아래와 같은 오류가 발생합니다.
루커 스튜디오의 알 수 없는 오류잘 보고 있던 시각화 대시보드에서도 만들어둔 모든 차트가 위와 같이 오류가 발생했다는 것입니다. 단순히 오류인 줄만 알았던 루커 스튜디오의 이러한 에러는 오류가 아닌 것으로 밝혀졌습니다. 바로, 할당량 제한 업데이트 때문입니다.
GA4와 LS의 연동위에서도 말씀드렸듯이, 루커 스튜디오는 GA4랑 연동하여 데이터를 실시간으로 가져와 시각화시키는 툴입니다. 루커 스튜디오는 GA4의 API를 활용해 연동되며, 연동이 되고 나서는 GA4의 데이터를 실시간으로 가져올 수 있습니다. 근데 이렇게 연동에 사용되는 API에 할당량이 생겨버린 것입니다. 무제한으로 차트를 만들고, 데이터를 가져왔었는데 이렇게 할당량 제한이 생겨버려 GA4를 연동한 상태로 차트를 시각화하는 것이 매우 제한된 것입니다. 아쉬운 점은 어떠한 기존의 문구나 안내도 없이 하루아침에 API 할당량을 정해버렸습니다. GA4 API 할당량이 생긴 것은 비단 LS(Looker Studio)뿐만이 아닙니다. GA4 API를 통해 데이터를 가져오는 모든 서드 파티 툴, 태블로와 같은 BI 툴들이 할당량 제한을 초과하면 더 이상 GA4 데이터를 가져올 수가 없게 된 것입니다.
API란?
식당에서 점원에게 메뉴판을 통해 주문을 하면 음식이 나오는 것처럼, 플랫폼에서 제공하는 특정 기능을 손쉽게 주문할 수 있도록 가져올 수 있는 메뉴판이라고 이해해주시면 됩니다. 예를 들어, 사이트 내에 [카카오로 회원가입]을 하기 위해서라면, 카카오 API 문서에서 해당 기능을 가져와주는 코드를 단순히 요청하면 되는 것입니다. 직접 개발할 필요가 없는 것이지요. GA4도 적재된 Raw Data들을 쉽게 받을 수 있도록 API를 제공하고 있습니다. 이렇게 메뉴판을 통해 주문을 하는데 주문하는 데 있어서 할당량이 생긴 것이지요.
API 할당량에 대한 업데이트 가이드는 링크에 상세히 나와있습니다. (다만, 발표된 할당량이 어느 정도 차트를 만들 수 있는지, 데이터를 가져올 수 있는지는 명확하지가 않습니다.)
3. 그래서 우리는 어떻게 해결해야 하는가?
실제로 한국 시장뿐만이 아니라, 전 세계적으로 해당 업데이트에 대해서 많은 비난을 쏟아내고 있습니다. 아래는 Looker Studio 공식 발표 문서에 기재된 댓글들이 있는 이미지입니다. (링크 바로가기)
전 세계적으로 많은 불만을 토로하고 있는 LS(Looker Studio)의 업데이트Looker Studio는 이러한 사람들의 많은 불만을 인식하듯, 다시 한번 빠른 발표를 진행합니다. 하지만 해당 발표 역시 근본적인 할당량에 대한 이슈는 바꿀 수 없으며, 루커 스튜디오가 GA4 API를 통해 데이터를 가져올 때, 할당량을 기존보다 덜 쓰도록 코드를 최적화하겠다는 말뿐이었습니다.
루커 스튜디오의 이슈 대응그래서 결론은, 이제 우리는 이전 방식과 같이 GA4 API를 활용한 Connector를 이용해서 구글 애널리틱스 리포트에 시각화를 바로 진행하는 것이 어려워졌습니다. 대신 GA4와 빅쿼리를 연동하는 것은 여전히 무료로 사용할 수 있습니다. 아래 그림과 같이, 루커 스튜디오에서 바로 GA4 API를 사용해 연결하는 것이 아니라, 빅쿼리에 GA4의 Raw Data를 적재해서, 빅쿼리와 루커 스튜디오를 연결하는 방식이 유일한 해결책이 되지 않을까 예상합니다.
새로운 데이터 시각화 방식4. 빅쿼리란?
빅쿼리란, 엄청나게 많은 데이터들을 SQL과 같은 쿼리문을 활용하여, 데이터들의 저장, 수정, 추출 등의 작업을 빠른 시간 내에 도와주는 데이터 웨어하우스 서비스입니다. 비단, 빅쿼리는 구글 애널리틱스의 데이터만 적재하는 툴은 아닙니다. 수많은 데이터들을 한 곳에서 보관하고 관리하기 좋은 툴입니다. 구글 애널리틱스의 3번째 버전인 Universal Analytics에서는 빅쿼리를 사용하는 것이 오직 유료 버전에서만 가능했습니다. 하지만 GA4에서는 누구나 빅쿼리를 시작할 수 있도록 무료로 빅쿼리 연동을 제공해주고 있습니다. 실제로 구글 애널리틱스와 빅쿼리를 연동하면 아래와 같이 구글 애널리틱스의 Raw Data가 적재됩니다.
주의하셔야 할 점은 빅쿼리와 GA4가 연동되는 시점부터 데이터가 적재됩니다. 가능한 한 빨리 연동부터 해서 Raw Data를 적재해두시는 것을 추천드립니다.
실제 GA4와 빅쿼리가 연동된 모습위 화면은 빅쿼리와 GA4를 연동하고 난 뒤, 10일이 지난 모습입니다. 행과 열로 구성된 테이블이 나와있고, event_date, event_timestamp, event_name 별로 구글 애널리틱스에 적재되는 모든 Raw Data들이 들어가 있는 것을 볼 수 있습니다. 이렇듯 이벤트 단위로 데이터가 적재되기 때문에, GA4는 ‘이벤트 중심 집계 방식’이라고 표현합니다.
5. 빅쿼리를 어떻게 LS(Looker Studio)와 연동하는가?
빅쿼리에 데이터가 적재된다면, 루커 스튜디오로 들어가 빅쿼리 커넥터를 사용하여 바로 연동할 수 있습니다.
1단계 : 우선 루커 스튜디오에 들어가서, 빅쿼리 커넥터를 선택합니다.
LS에서 BQ 커넥터 추가2단계 : 연동한 빅쿼리 프로젝트를 선택해줍니다.
빅쿼리 프로젝트 연결3단계 : 빅쿼리의 Raw Data를 기반으로 시각화 리포트 만들기를 시작합니다.
빅쿼리를 사용한 데이터 시각화실제로 허들러스는 빅쿼리를 기반으로 데이터 시각화 설계, Raw Data 전반의 데이터 설계 계획 등의 컨설팅을 도와드리고 있습니다. 혹시 도움이 필요하시다면 편하게 문의하십시오.
6. 빅쿼리를 연동해서 사용하면 계속 무료일까?
당연히 아닙니다. 빅쿼리를 사용하게 된다면, 우리가 사용하는 양만큼 과금이 됩니다. 빅쿼리의 과금 방식은 2가지로 나뉩니다.
1. 저장 비용(Storage Costs) : 빅쿼리에 데이터가 적재될 때, 데이터 웨어하우스에 적재되는 데이터의 양에 따라 비용이 부과됩니다. 데이터의 양은 일반적으로 이벤트가 발생한 횟수(GA4내에 적재되는 모든 이벤트)에 따라 정해집니다. 이벤트의 횟수는 아래 이미지와 같이 GA4의 홈 화면에서 관측할 수 있습니다.
빅쿼리 저장 용량 확인 방법 1예를 들어 한 달에 1400건의 이벤트가 발생한다는 가정하에, 빅쿼리에 데이터를 적재할 때마다 얼마의 비용을 내야 하는지 궁금할 수 있습니다. 실제로 이러한 고객의 불편함을 해결해주기 위해, Google Cloud Platform(GCP)에서는 빅쿼리 비용 계산기를 제공해주고 있습니다. 공식적으로 제공하는 빅쿼리 계산기는 사용하기 어려워서, 간략하게나마 사용할 수 있는 계산기도 별도로 링크를 전달드립니다. 해당 링크로 이동해서 우리 사이트의 월간 이벤트 횟수를 기재해주시면 그에 맞게 시간이 흐름에 따라 비용이 얼마나 부과될 것인지가 나오게 됩니다.
빅쿼리 비용 계산기이렇듯, 대략적인 적재 비용이 파악이 되는데, 만약 유료로 사용하기 싫다면, 오래된 데이터는 삭제해줌으로써, 계속 무료로 최신화된 데이터를 적재하실 수도 있습니다. 해당 부분은 나중에 자세히 다뤄보도록 하겠습니다. 1년에 100만명 들어오는 사이트의 경우, 평균적으로 월 600원 정도의 비용을 썼다는 사례가 있습니다.(쿼리 비용 제외) 생각보다는 빅쿼리가 가성비가 좋은 데이터 웨어하우스라는 것을 알 수 있습니다.
2. 쿼리 비용(Query Costs) : 아래 이미지를 보면, 특정한 데이터를 추출하기 위해 SQL 구문을 만들어두었습니다.
빅쿼리의 쿼리 용량을 체크하는 방법이렇듯 SQL문을 이용해, 제가 필요한 데이터만 가져오려고 할 때, 오른쪽 상단에는 용량이 얼마나 발생하는가에 대한 항목이 미리보기로 표시됩니다. 실제로 [실행] 버튼을 누르는 순간, 아래 결과창에 필요한 데이터들만 추출되며, 저는 59.06KB를 사용하여 해당 데이터 테이블을 만든 것입니다.
쿼리란, 많은 데이터가 쌓여있는 데이터 베이스에서 원하는 데이터만 가져오기 위해 데이터 베이스에 정보를 요청하는 행위를 의미합니다. 필요한 데이터만 추출하고 가져오기 위해서 SQL 언어로 구성된 명령문을 작성하여 실행시키는데, 이를 쿼리문이라고 하며, 해당 쿼리문이 발생될 때마다 우리는 ‘쿼리 용량’을 사용하게 됩니다. 그리고 특정 구간을 넘어서서 쿼리를 아주 많이 발생시킨다면, 빅쿼리의 쿼리 비용(Query Costs)이 부과되는 것입니다.
루커 스튜디오에서도 차트를 하나 만들고 날짜를 바꿀 때마다 일정한 쿼리가 발생하여, 쿼리 용량을 사용하게 됩니다. 하지만, 빅쿼리에서는 1달에 1TB라는 꽤 많은 양의 쿼리 용량을 제공해주고 있습니다. 그래서, 복잡한 머신러닝이나 수십 개의 대시보드를 사용하지 않는 이상은, 해당 쿼리 비용을 넘어가지는 않을 것입니다. 그래도 쿼리 용량을 최대한 쓰지 않으면 좋기 때문에, 우리는 필요한 데이터만 별도 데이터 테이블로 바꾸어서 쿼리 용량 최적화(Query Optimization) 작업을 실시하는데, 이를 테이블 파티셔닝(Table Partitioning)이라고 부릅니다.
즉 정리하자면, 빅쿼리는 저장 비용과 쿼리 비용이 제공되며, 저장 비용은 한 달에 10GB, 쿼리 비용은 한 달에 1TB 무료 지원이 됩니다. 테이블 파티셔닝을 잘해두고, 데이터를 지속 최신화한다면, 비용을 쓰지 않고도 빅쿼리를 사용할 수가 있습니다. 물론, 방문자가 너무 많이 들어오는 GA4 계정은 어쩔 수 없이 비용을 부과해야겠으나, 다른 데이터 웨어하우스에 비해서 빅쿼리는 매우 저렴한 편이며, 가성비가 좋습니다.
7. 앞으로 우리는 어떻게 해야 하는가?
결국 GA4 API 할당량 업데이트는 사용자들이 빅쿼리를 사용하도록 유도하고 있습니다. 물론 어떠한 얹어도 없이 하루아침에 일방적인 변경이 있어서 그 절차의 당위에 아쉬움이 남는 것은 사실입니다. 빅쿼리를 사용해서 부분 유료화를 하거나, 또는 Raw Data를 모아서 구글 광고를 더 정교하게 만들고, GCP(Google Cloud Platform)의 시장 점유율을 상승시키고자 하는 큰 그림이 아닐까 싶기도 합니다. 구글도 영리 기업이기 때문에 아쉽다가도, 이해가 되는 것 같습니다.
앞으로 우리는 빅쿼리를 공부해야만 합니다. 또 빅쿼리에 다양한 데이터를 적재하고 시각화한 다음에 우리 비즈니스의 방향성을 정립해나가야 합니다. GA4와 빅쿼리를 사용한 데이터 시각화 세팅이 필요하다면 언제든지 편히 물어봐주십시오. 긴 글 읽어주셔서 감사합니다.
해당 글은 그로스 마케팅 파트너 허들러스와 모비인사이드의 파트너쉽으로 제공되는 기사입니다.
