brunch

매거진 데이터와 기술

라이킷 10 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 비즈스프링 Feb 11. 2022

광고매체 통합 리포트는 어떻게 만들어질까?

비즈스프링의 매체통합솔루션은 여러 광고매체사의 데이터들을 가져와 통합하여,
하나의 리포트에서 조회하고 관리할 수 있습니다.

이번 콘텐츠에서는 매체통합솔루션이
각 광고매체사에서 데이터를 가져오고 적재하는 방법부터
통합 리포트를 생성하기까지의 과정을 알아보겠습니다.

매체통합솔루션은 크게 2가지 과정을 거쳐 통합 리포트를 생성합니다.

1. 데이터 다운로드 및 통합 데이터 생성
2. 통합 데이터 가공 및 사용

1. (각 광고매체사별)데이터 다운로드 및 통합데이터 생성

첫 번째로, 매체통합솔루션이 연동한 광고매체사의 데이터를 받아 저장하는 과정입니다.

각 광고매체사마다 제공하는 필드의 종류와 필드명이 다른데,
비즈스프링은 자체 개발한 Report API를 이용하여 네이버/카카오/구글/페이스북 등 여러 매체의 데이터를 받아 적재합니다.

Report API에서 수집하는 항목과 필드명에 대한 상세 내용은 이 콘텐츠를 참고해주세요.

다운받은 데이터를 저장하고, 통합 데이터를 생성하는 과정에서는 ‘구글 빅쿼리’ 서비스를 활용합니다.

광고매체사 별로 데이터를 다운받으면,
광고주 별로 데이터를 분류 및 통합하고 파생 지표를 산출하는데,

이러한 일련의 과정을 거쳐 생성된 통합 데이터는 구글 빅쿼리에 적재하여 관리합니다.

Report API를 이용하여 매체 데이터를 저장 및 매체 통합 리포트 최종 데이터 생성 과정에서는
‘구글 빅쿼리(이하 빅쿼리)’ 서비스를 사용하여 데이터를 관리합니다.

구글 빅쿼리(Google BigQuery) 로고 (출처: 구글)

* 구글 빅쿼리(Google BigQuery) 란,

Google에서 서비스하는 Google Cloud의 페타바이트급 규모의 경제적인 완전 관리형 분석 데이터 웨어하우스입니다. 구글 빅쿼리 서비스를 활용하여, 솔루션에서 거의 실시간으로 방대한 양의 데이터를 분석할 수 있습니다.

▶참고 콘텐츠: 구글 빅쿼리(Google BigQuery) 시작하기

구글 빅쿼리에서 적재하고 관리하는 통합 데이터의 필드 목록은 아래와 같습니다.

2. (용도에 따른) 통합 데이터 가공 및 사용

적재된 통합 데이터는 사용 용도에 따라,
매체통합솔루션의 엑셀(.Excel) 파일 생성 혹은 실시간 조회용으로 2차 가공됩니다.

이 중, 실시간 데이터 검색 및 조회 과정에서는 ‘엘라스틱서치(Elasticsearch)’ 서비스를 활용합니다.

구글 빅쿼리에서 생성된 통합 데이터를 엘라스틱서치에 한번 더 적재를 하는데,

이를 통해 솔루션의 어드민 페이지에서 데이터를 빠르게 조회할 수 있도록 지원하고 있습니다.

엘라스틱서치(Elasticsearch) 로고 (출처: 엘라스틱)

* 엘라스틱서치(Elasticsearch) 란,

텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진으로, 간단한 REST API, 분산 특성, 속도 및 확장성으로 유명합니다. 엘라스틱서치 서비스를 활용하여, 솔루션에서 데이터를 거의 실시간으로 신속하게 저장 및 검색하고 분석할 수 있습니다.

▶ 참고 콘텐츠 : 엘라스틱서치(Elasticsearch)는 무엇인가요?

엘라스틱서치는 아래과 같은 JSON 형식으로 데이터를 보관하고 있습니다.