2021 Martech 데이터 분석 트렌드 2
data-driven marketing 잘하는 글로벌 회사들의 비결
너네 설날이래매? 너 앞으로 48시간 suspension 이야.
갑자기 팀에서 설날이라고 강제휴가를 보내줬다. (아, 회사가 merge 되고 나서 휴가가 무제한이 돼서 휴가일수에 대한 부담이 없게 됐다) 덕분에 '어, 그래? 그럼 뭐 쉬지 뭐' 하고 휴가를 내고 더 게을러지기 전에 밀렸던 글들을 써야겠다 생각했다. 앞선 글이 최근 업계에서 이슈가 되고 있는 privacy와 관련된 기술들을 소개했다면, 이번에는 maturity와 관련된 트렌드들을 소개하고자 한다. 그런 의미에서 아직 지난 글을 안 보셨다면 미리 보고 오시길 바란다.
2021 Martech 데이터 분석 트렌드 1: CMP, PII, and Data Clean Room
Digital maturity (디지털 성숙도)는 유럽/미국에서는 그다지 새롭지 않은 개념이다. digital transformation이 시작되면서 maturity 평가에 대한 이야기들이 나왔었고, Google & BCG에서 2019년에 research 결과물들을 내놓으면서 업계에서도 본격적으로 사용하기 시작했다. Google & BCG의 Digital Maturity Framework는 한 회사의 Digital strategy에 대해 마케팅, 데이터 분석, CRO, 문화 등 다방면으로 평가하고 개선할 수 있도록 돕는다. 우리 회사에서도 클라이언트들에 사용하기 시작한 지 좀 됐고, 이를 기반으로 아래와 같이 GA audit, CRO audit도 제공하고 있다. 내가 주도한 프로젝트라 아마 따로 글을 쓰지 않을까 싶다.
GA audit 결과 요약 예시. 이 정도만 돼도 양호한 편. Digital maturity를 언급한 것은 maturity가 가장 높은 회사들의 특징에 이 글에서 소개할 내용들이 포함되어 있기 때문이다. 쉽게 말하면 data-driven marketing을 가장 잘하는 글로벌 회사들은 어떻게 하고 있을까라는 질문에 대한 대답이라 할 수 있다. 이 글에서는 fully connected data activation을 위한 CDP (Customer Data Platform), automate as possible을 위한 C4M (Cloud for Marketing), personalised journey를 위한 Advanced analytics & CRO를 소개한다.
1. CDP
CDP는 굉장히 다양한 의미로 쓰이고 있지만 우리 회사에서는 아래의 정의를 사용한다.
A customer data platform, at its core, ingests, cleanses and unifies all relevant customer data available to the enterprise, and provides a persistent single customer profile used by marketers as the foundation for data exploration and insight discovery, customer segmentation, and multi-channel campaign orchestration - Optimove CDP whitepaper
여기서 중요한 건 platform으로서 data injestion, cleansing, unification을 제공한다는 거고 그 대상은 persistent single customer profile라는 점이다. 쉽게 말하면 여기저기 흩어진 데이터들을 모으고, 정리하고, 잘 연결해서 고객/사용자에 대한 풍성한 인사이트를 만들어준다고 할 수 있다. 이를테면 데이터의 VR 모델링이라 할 수 있다. 흑백사진 한 장으로 알 수 없었던 고객의 모습을, 여러 사진과 음성, 영상을 결합해서 너를 만났다로 재현하는 것처럼. 그리고 이를 쉽게 마케팅에 쓸 수 있도록 한다는 것이 CDP라 할 수 있다.
CDP가 소개된 것은 최근은 아니다. 수년 전부터 CDP라는 개념은 존재했고 마켓에서 솔루션화 된 지도 좀 되었는데 아래 Google trends에서 볼 수 있듯이 최근 2년 간 검색량이 급증한 것을 볼 수 있다.
'customer data platform'에 대한 google trends result그 배경은 아래와 같다.
Privacy 강화로 1st party data의 중요성이 강조됨
기존 DMP는 3rd party data만 통합하여 1st party data (incl. PII)를 연결할 수 없음
이에 Digital maturity 관점에서 on/offline, 1st/3rd party 결합을 통해 사용자의 모든 touchpoint를 연결하는 것이 중요해짐
마켓에는 Optimove, Lytics, Treasure Data, Tealium (그 악명 높은 Tealium tag manager의 그 Tealium -_-) 등 다양한 회사들이 이미 솔루션을 제공하고 있다. 하지만 기능적으로는 아래와 같이 거의 대동소이하다.
The Advanced Introduction to Customer Data Platforms (CDP) @mcgaw.io데이터 통합 및 저장소 제공: 웹사이트/모바일앱 데이터, CRM, 광고 데이터, 세일즈 데이터 등
데이터 프로세싱 & single customer view: ID resolution이 중요함
Advanced analysis: ML based LTV, propensity prediction 등
Activation: 다양한 마케팅 채널로 쉽게 연동 및 활성화
Real-time interaction, 유연한 UI 등 약간의 부가 기능
한국 회사의 특성상 스스로 만들고 싶은 유혹 (custom CDP)에 쉽게 빠질 수 있겠으나, 1) 높은 engineering cost 2) storage cost 3) 시장 변화에 빠르게 대응이 어려움 등으로 별로 추천하고 싶진 않다. 현재까지 데이터를 저장한 곳이 모두 custom이라는 이상한 곳이 아니라면 말이다.
그렇다면 CDP를 도대체 어디에 쓰면 좋을까? 쉽게 말하면 CDP는 사용자 경험을 개선하고 retention을 만드는데 목적이 있다. 마케터, 데이터 분석가, PO라면 아래의 질문들을 늘 주머니에 가지고 다닌다.
우리 VIP 고객 K는 언제 처음 우리에게 구매 의향을 가졌을까?
구매한 물품들의 리스트와 고객의 프로필과는 어떤 관련이 있을까?
이를 바탕으로 다음에는 어떤 물건을 살까?
고객 K와 비슷한 고객은 어떤 사람들일까? 그 사람들을 targeting 할 수는 없을까?
고객 K가 어떤 메시지를 보면 바로 결제를 할까?
우린 지금 K가 살 물건이 재고가 있는가?
그렇다, CDP는 이런 흥미로운 질문들에 대한 답을 데이터를 기반으로 해주는 솔루션이다. '라떼는 말이야 박사모님 모시려고 사모님 좋아하신다는 스위스 치즈를 매월 공수해서 보내 드렸어'라는 부장님 인사이트 대신 데이터로 답을 한다. 그래서 CDP는 data-driven marketing을 한다는 곳이라면 빠질 수 없는 솔루션이다.
2. C4M
C4M (Cloud For Marketing)은 Cloud Computing이라는 이제는 그다지 새롭지 않은 기술을 마케팅에 사용하는 것이다. 혹자는 머신러닝 베이스로 사용자 funnel을 optimisation 하는 거라고 하던데, 그건 C4M을 폭좁게 생각한 것 같다. Cloud computing이 그러하듯 C4M도 할 수 있는 일이 무척 많다. GCP를 예로 들어보면 아래와 같다.
cheat sheet = 고통물론 GCP=C4M은 아니다. 작년에 언급했다시피 GCP팀에서 C4M을 선언할 때 클라우드 시장에서 후발주자가 되어 있는 스스로에 대한 포지셔닝 목적이 크다고 생각한다. GCP는 결국 다른 구글의 제품들과 연계될 때 매력이 나타나고, 그 시너지는 마케팅에서 가장 크게 나타난다. 그래서 개인적으로는 C4M의 비전을 가장 잘 구현하고 있는 곳이 구글, 세일즈포스라 생각한다.
그리고 이런 C4M의 비전은 이전 글에서 소개했던 것처럼 privacy 강화로 1st party data가 중요해지고, data collector가 data processor가 되어 직접 데이터를 소유-분석-활용하는 것이 Main stream이 되는 요즘 매우 중요하다. 지금껏 사용자가 방문하는 웹사이트가 임의로 그 데이터를 다른 광고 플랫폼에도 공유하여 targeting이나 bidding 등에 활용하는 모델은 점점 사라질 것이다. 대신 사용자가 방문한 웹사이트가 그 데이터를 잘 가공하고 분석하여 활용하는 것의 중요도는 대신 커질 것이다. 여기서 C4M의 중요성은 커질 수밖에 없다. 언제나 어디에서나 데이터에 접근성을 부여하는 Cloud의 특성은 데이터의 실시간 분석과 활용에 있어 최고의 시너지가 날 수밖에 없다.
우리 팀은 2년 전부터 클라이언트들에게 아래와 같은 C4M 관련 일들을 해오고 있다. 아마 지금은 더 늘어났겠지만...
BigQuery
Cloud Functions
Data Store
Data Prep
Data Flow
Cloud Run
App Engine
Compute
Storage
Scheduler
Pub/Sub
Logging
APIs
Machine Learning: Text, Vision, Video, Speech
그중 점점 수요가 늘고 있는 쪽은 Automation 파트이다. 몇 가지 GCP 기능들을 활용하면 Automated data pipeline을 0원으로 구현할 수 있다.
https://www.the-swamp.info/blog/simple-serverless-data-pipeline-google-cloud-platform위 pipeline을 기반으로 예를 들어보자면, Cloud Scheduler를 통해 매일 저녁 질병관리본부가 브리핑을 할 때마다 Cloud Pub/Sub에 메시지를 전달해, Pub/Sub이 Cloud Functions를 안전하게 triggering 하도록 한다. 그 결과 Cloud Functions는 그때마다 정부에서 업로드하는 코로나 확진자 수를 확인하고 이 데이터를 확진자 추이와 질병관리본부 웹사이트 방문자 데이터를 저장하는 BigQuery dataset에 저장하는 automation이 가능한 것이다. 조금 더 나아간다면 여기에 약간의 segmentation을 더해 확진자수가 다수 발생한 지역의 방문자들을 dataset으로 저장해 이것을 The BigQuery Data Transfer Service for Campaign Manager를 통해 CM > DV360에 audience로 보내어, 거의 실시간으로 해당 방문자들을 retargeting 하거나 lookalike audience로 같은 지역/관심 있는 사람들에게 코로나 진단검사를 받으라는 광고를 띄울 수 있겠다. 물론 여기에 들어가는 bidding, personalised message 등도 모두 automated 되기 때문에, 광고 비용을 제외하고는 거의 operation cost가 0이 된다는 것. 귀찮게 질병관리본부에서 담당 마케팅 에이전시 직원을 저녁 시간에 전화해서 '오늘 확진자 나온 동네 광고 집행하셨어요?'라고 물어보지 않아도 된다.
우리 회사에서도 이 안에서 재미있는 실험들과 유의미한 결과들을 작년에 많이 내놨다. 작년 바빴던 이유 중에 하나도, 내가 재작년에 진행했던 프로젝트들 중에 이러한 GCP API를 바탕으로 GA에 들어오는 PII를 자동으로 인식 및 삭제하는 솔루션 등을 샌프란시스코에 있는 본사 및 글로벌팀에 소개해야 했기 때문이었다. 올해는 consent banner interaction을 익명으로 BQ에 저장하는 것도 Cloud Functions으로 직접 해 보기도 하고. 계속 배우고 개선해야 할 부분들이 있지만 Windsor에 있는 작은 팀이 해왔던 일들이 보다 넓은 곳에서 재미있게 쓰이는 것을 볼 때 보람이 있기도 하고 흥미롭기도 하다. 유럽의 analytics 시장이 워낙 경쟁이 치열해서 세계에서 가장 sophisticated 하다고 하는데, 그런 혜택을 보는 것 같기도 하다.
3. Advaned analytics & CRO
결국 이 모든 것의 종착지는 personalisation이다. 이 역시 매우 폭넓게 사용되고 있는 개념이지만 나는 이보다 명료한 정의를 본 적이 없다.
Right time, Right message, Right person
앞서 언급한 fully integrated data, 클라우드, 머신러닝 등은 이런 personalisation을 조금 더 현실적으로 구체화시켜줬다. Digital Maturity에서 평가하는 항목 중에 in-house data scientist 팀을 갖고 있냐는 질문이 있는데, 이런 advanced analytics를 구현할 수 있는 힘을 물은 것이다. 물론, data scientist를 한 명 고용하고 있다고 해서 advanced analysis를 하고 있다고 말할 수는 없다. 여기에는 좋은 데이터를 갖고 이를 기술적으로 활용하는 역량이 선행되어야 한다. 한국이 이 점에서 환경적으로 어려운 점은 data analytics와 media activation 플랫폼이 생태계적으로 따로 노는 점이다. 데이터 분석하는 사람들 중에 네이버 애널리틱스를 주로 쓴다고 말하는 사람은 없는데, 네이버/카카오에서 광고를 하지 않는 회사는 없다. 그러다 보니 heavy-lifting을 하는 글들을 많이 보게 된다. GMP나 AEP( Adobe Experience Platform)에서는 기본적인 data flow에 대해서는 별 걱정이 없는데. heavy-lifting을 통한 custom solution은 best practice가 되기 힘들다.
그런 환경적인 이점 속에서 팀이 했던 프로젝트들 중에 이런 재미있는 프로젝트들도 있었다.
한 미디어 회사 client를 위해 Churn rate 개선을 위해 propensity modelling을 한 적이 있었다. 일정의 engagement를 하고 n일 이후에 survivor regression을 통해 각 고객의 churn probability를 계산하는 모델을 만들었다. probability group에 따라 다른 쿠폰을 지급했고, 너무 낮거나 높은 고객에게는 쿠폰 할인율을 떨어뜨리거나 쿠폰을 지급하지 않았다. 덕분에 retention rate는 당연히 개선되었고 마케팅 ROAS도 70% 이상으로 증가했다. C4M은 이를 실시간으로 구현할 수 있게 도와준다. 실시간으로 지금 웹사이트를 방문하고 있는 예측모델을 통해 사용자 각자에게 다음으로 갈 페이지를 prefetching 해서 사용자 경험을 개선하는 프로젝트가 대표적. 뭐 이 외에도 아마 다양하게 ML을 쓰는 팀은 많을 것 같다. 개인적인 느낌은 한국이 조금 더 제품 자체에 ML 관련 역량을 쓴다면 해외에서는 이를 CRO, programmatic buying과 결합해서 commercial 차원에서 의미 있는 결과를 만드는 데 초점을 둔다는 것이 차이인 것 같다.
우리 sister company인 BrightBlue의 경우 아예 이런 일을 하는 회사이다. MMM (Marketing Mix Modeling)이 대표적인 서비스인데 on/offline data, CRM, sales data 같은 내부 데이터뿐 아니라 seasonality, 경제 등 외부적 환경까지 모델링에 포함해서 ROI prediction을 하기도 하고, ROI optimisation을 위한 모델링을 제공하기도 한다. 개인적으로는 브랜드 마케팅이 많은 회사들이 꼭 해야 할 일들 중 하나가 MMM 인 것 같다.
다양한 솔루션들은 계속 나올 것이지만 올해 privacy와 digital maturity를 벗어나지는 않을 것이라는 조심스러운 예측을 해본다. 앞서 소개한 GA4 역시 이런 흐름에 일치하게 데이터 schema을 만들었고, GTM의 consent mode와 GA4의 predictive metrics/audience로 분위기를 잡아가고 있다. 올해도 여러 가지 많이 배우는 한 해가 되길 바라며. 아내랑 차나 한 잔 해야겠다. 휴우.
* 이 글은 개인적인 의견을 적은 글로 MightyHive의 공식적인 입장과 다를 수 있습니다.
