왜 분석 플랫폼 구축이 어려운 것일까?
“핵심 비즈니스 운영을 개선하기 위해 분석을 활용하고 있다.”
위의 내용은 “하기 기업의 분석 활용 방안 내용 중 귀하의 조직과 가장 근접한 내용은 무엇입니까?”라는 질문에 응답자의 2/3가 응답한 답변입니다. 이처럼 비즈니스 운영을 개선하고 매출 증대를 위해 데이터를 활용하는 기업이 늘어나고 있습니다. 하지만 데이터를 활용하기 위한 분석 플랫폼을 구축하는 것이 어렵다고 이야기합니다.
왜! 분석 플랫폼 구축이 어려운 것일까요?
다양한 이유가 있겠지만 크게 세 가지 이유가 있습니다.
데이터 전문가 부재
데이터 선별의 어려움
데이터 검증의 어려움
[데이터 전문가 부재]
우리가 홈페이지 구축 시 필요한 인력을 생각해 보면 기획자, 디자이너, 개발자가 필요합니다.
기획자가 정책이나 메뉴구성 등을 기획하고 기획에 맞춰 디자이너, 개발자는 작업을 수행하여 하나의 홈페이지가 완성됩니다. 분석 플랫폼 구축에서는 데이터 분석가와 데이터 엔지니어가 필요합니다.
데이터 분석가는 여러 실무 담당부서와 인터뷰를 통해 데이터를 실무에 활용 가능한 데이터를 정의하고 인사이트를 추출할 수 있도록 데이터를 설계하게 됩니다.
데이터 엔지니어는 데이터를 수집 및 추출 > 변환 > 적재를 통해 분석 플랫폼에 필요한 데이터를 획득하고 운영/관리하는 역할을 합니다.
데이터 분석가는 분석 플랫폼의 설계자
데이터 엔지니어는 분석 플랫폼의 실행자
만약 데이터 분석가가 없다면 분석 플랫폼 구축을 실행할 수 있는 능력은 있으나 설계를 하기 어려울 것이며, 데이터 엔지니어가 없다면 분석 플랫폼 구축을 설계할 수 있으나 실행할 수 없을 것입니다.
[데이터 선별의 어려움]
실무에 활용 가능한 분석 플랫폼을 구축하기 위해서는 실무에서 필요한 데이터를 선별해야 합니다.
데이터 분석가는 다양한 실무 담당자와의 인터뷰를 통해 니즈를 파악하고 필요한 데이터를 선별하게 되는데 이 과정에서 실무 담당자는 데이터 활용을 위한 명확한 목표를 이야기 답변해야 합니다.
목표가 무엇입니까?
위의 질문에 대부분은 “매출 증대”라고 이야기 합니다. 너무 두리뭉실하고 광범위한 답변이죠.
그래서 저는 컨설팅을 진행할 때 위의 질문과 함께 다음과 같은 질문을 함께 합니다.
“웹/앱 상에서 목표 달성을 유도하는 장치는 무엇입니까?”
위와 같이 추가적으로 질문하게 되면 “정기적으로 할인 쿠폰을 문자로 발송하고 있어요”, “첫 구매 시 혜택에 대한 페이지를 제공하고 있어요” 등 웹/앱 상에서 목표 달성을 유도하는 장치에 대해서 이야기를 하게됩니다. 그럼 답변에 대한 부분은 정량화 할 수 있는 방법을 찾고 데이터 수집 시 정량화 할 수 있는 데이터를 수집할 수 있도록 데이터 선별 및 수집 요청합니다.
그래서 목표 달성을 유도하는 다양한 장치 중 어떤 장치가 목표 달성에 기여도가 높은지를 상관관계분석 또는 회귀분석을 통해 인사이트를 찾아 액션 플랜을 제시하게 됩니다. 뿐만 아니라 도메인 지식과 현재 비즈니스의 문제 등을 알고 있어야 맡고있는 산업군에서는 어떤 데이터가 필요한지를 사전에 정의 및 선별할 수 있습니다.
[데이터 검증의 어려움]
분석 플랫폼 구축에서 가장 큰 어려움은 데이터 검증입니다. 최대한 정확한 데이터를 수집하기 위해서는 수집 및 추출 > 변환 > 적재 과정에서의 데이터가 과연 얼마나 정확한 데이터인가를 검증하는 부분입니다. 데이터 검증은 데이터를 많이 다뤄보지 않은 경우라면 어떤 환경에서 데이터 수집이 안되는지를 파악하여 데이터 유실을 최소화해야 하며, 마케팅 성과 데이터에 대해서 어떻게 기여기간을 할당할 것인지? 데이터 전처리 과정에서 잘못된 점이 없는지 등 많은 요인에 대한 고민이 필요합니다. 데이터 검증에 있어 많은 요인에 의해 어려움이 있지만 대표적으로 두가지 관점에서의 어려움이 있습니다.
1) 사이트 구조 요인
사이트 구조 요인 중 가장 많이 발생되는 문제는 referral 유실의 문제입니다. referral은 웹사이트 접속 이전 페이지 URL을 전달하게되는데 이 referral값을 통해 유입경로를 분류하게 됩니다. 하지만 사이트 구조 상 메인 페이지 접속 시 리다이렉트(다른 페이지로 이동)시키는 과정에서 이 referral값을 유실시키는 경우가 발생됩니다.
예를 들어 우리가 운영하는 사이트가 www.mydomain.com 인 경우
실제 www.mydomain.com으로 접속했을 때 실제 URL이 www.mydomain.com/index/main.html로 확인된다면 www.mydomain.com 페이지에 접속하게되면 /index/main.html 페이지로 리다이렉트 시키게됩니다.
이 경우 정상적으로 리다이렉트 시킨다면 문제가 없으나 표준 방식으로 리다이렉트 시키지 않는 경우라면 referral이 유실되게 되고 결국 www.mydomain.com 페이지로 접속하는 모든 사용자는 “직접유입/북마크”로 카운트 되게 됩니다. 또한 웹사이트 구조가 페이지 방식이 아닌 SPA(Single Page Application)와 같은 구조라면 하나의 페이지에서 보여주는 방식이기 때문에 버튼이나 메뉴를 클릭 하는 시점에 데이터를 수집할 수 있도록 개발되어야 합니다.
2) 데이터 전처리 과정에서의 요인
원시 데이터(RAW 데이터)를 수집 후 전처리 과정을 거쳐 데이터를 적재하게 되는데요. 이 데이터 전처리 과정에서도 데이터 정합성의 문제가 발생될 수 있습니다.
예를 들어, 광고를 집행하다보면 광고 성과를 분석하기 위해 광고 랜딩 URL에 광고 코드를 적용하게 됩니다.
그럼 광고를 클릭하여 웹사이트에 접속했을 때 페이지 URL이 아래와 같이 표현됩니다.
www.mydomain.com?_C_=123
위의 예시 링크를 보시면 mydomain.com은 실제 페이지 URL이며 ?_C_=123은 광고 성과를 측정하기 위한 광고 코드입니다. 하지만 데이터 전처리 과정에서 접속한 페이지 URL이 www.mydomain.com인 경우는 적재하고 www.mydomain.com?_C_=123인 경우는 www.mydomain.com으로 변환 후 적재하거나 아예 삭제하는 경우가 발생되기도 합니다.
그럼 _C_=123코드를 사용하고 있는 광고에 대한 성과 데이터를 유실시키게 되어 정확한 광고 성과 데이터를 확인할 수 없게되며 전체 데이터를 삭제하는 경우에는 전체 웹사이트 페이지뷰 및 방문수 데이터도 유실이 되게 됩니다. 위의 경우가 분석 플랫폼 구축작업 시 데이터 전문가 없이 진행하는 경우 생각보다 많이 발생되는 현상 중 하나입니다.
글을 마치며
오늘은 분석 플랫폼 구축이 어려운 이유에 대해서 이야기 하였습니다.
이제는 많은 기업에서 분석 플랫폼을 직접 구축하는 것이 중요하다는 것을 알고있습니다. 분석 플랫폼을 구축하면 웹사이트에서 발생되는 모든 고객 행동 데이터가 결국 자산이 되기 때문입니다. 하지만 위와 같이 이유 외에도 많은 이유로 인해 분석 플랫폼 구축은 엄두가 나지 않거나 망설이는 경우가 많습니다.
비즈스프링에서는 수십년 간의 다양한 산업군의 데이터를 다룬 전문 데이터 엔지니어 및 데이터 분석가가 지원하여 분석 플랫폼 구축 서비스 및 컨설팅 서비스를 제공하고 있습니다. 분석 플랫폼 구축이 중요하다는 것을 알고있지만 망설이고 있다면 ad@bizspring.co.kr 또는 02-6919-5514로 연락 주시기 바랍니다.
