2019 SW컨퍼런스 KOSSCON 빅데이터 강연 후기
지난 12월 4일, 모임 문화 플랫폼 온오프믹스에서 접수가 이루어진 <2019 공개SW 컨트리뷰션 페스티벌 KOSSCON>이 삼성 코엑스에서 개최되었습니다.
KOSSCON(Korea Open Source Software Conference)이란?
과학기술정보통신부가 주최하고 정보통신산업진흥원이 주관하는 공개 SW 컨퍼런스입니다. 4차 산업혁명 시대에 가장 주목받고 있는 AI, 블록체인, 클라우드, 빅데이터 분야를 SW 관점에서 더욱 깊이 들여다보고, 각 분야의 전문가들과 관련 종사자들이 국내외 각 분야의 핵심기술 현황과 전망에 대해 토론하며 최신 공개 SW 기술 지식을 공유하는 것을 목적으로 합니다.
연사만 40분이 참가한 이 컨퍼런스에, 빅인사이트의 독고혁 팀장님도 세션을 맡았다는 이야기를 듣고 현장에 다녀왔습니다.
독고혁 팀장님은 이번 컨퍼런스의 4가지 대 주제 – AI, 블록체인, 클라우드, 빅데이터 – 중에서도 ‘빅데이터’ 트랙에 ‘비즈니스’ 세션 연설을 맡았습니다. 해당 세션은 쿠팡의 정재화 개발 팀장님의 연설과 독고혁 데브옵스 팀장님의 연설로 이루어져 있었습니다.
[ 발표 1 ] 지속적으로 확장 가능한 빅데이터 플랫폼을 향한 여정
먼저 쿠팡의 정재화 팀장님의 발표가 시작되었습니다.
“THE PURPOSE OF A BUSINESS IS TO CREATE AND KEEP A CUSTOMER.”
비즈니스의 목적은 고객을 만들고 유지하는 것이다. PETER DRUCKER
경영학의 아버지라 불리는 피터 드러커의 명언으로 발표를 시작하신 팀장님은 급증하는 트래픽의 해결을 위해, ‘지속 가능함’에 초점을 맞춰 연구한다고 하셨습니다. 내가 제공하는 서비스의 진짜 고객이 누구인지에 대한 정의가 필요하다는 점, 그리고 문제를 발견했다면 백로그로 미뤄두지 말고 가능한 한 빨리 해결하는 것을 지향해야 한다는 점 등이 도움이 되었던 연설이었습니다.
[ 발표 2 ] REAL-TIME STREAMING DATA PROCESSING 활용을 통한 DATA-DRIVEN MARKETING 실현
다음으로는 빅인사이트의 솔루션 아키텍트 업무를 담당하시는 독고혁 팀장님의 강연이 이어졌습니다.
현재 빅인사이트에서 사용 중인 기술 스택 소개로 연설이 시작되었습니다. 거의 모든 기술 스택이 최근 트렌드에 크게 뒤처지지 않는 점을 확인할 수 있었습니다.
이 밖에의 현재 사용 중인 기술 스택은 아래 스택쉐어 링크에서 확인하실 수 있으며, 지속적으로 업데이트될 예정입니다.
빅인사이트에서 사용 중인 최신 기술 스택 보러 가기 (stackshare, 스택쉐어)
빅인사이트에서 사용 중인 기술 스택에 흥미가 있으신 분들, 빅인으로 조인!
현장에 함께 하지 못한 많은 분들을 위해 강연 내용을 요약하여 알려드리고자 합니다.
‘빅데이터’라고 하면, 예전에는 ‘저장’에만 초점이 맞춰져 있었습니다. 데이터 웨어 하우징, 데이터 레이크, 데이터 마트라는 용어들이 모두 데이터 저장과 관련된 용어들인데요.
데이터를 저장하는 것에만 초점을 두다 보면 웹/앱에서 발생하는 수많은 로그들을 한 곳으로 모으는 작업부터 쉽지가 않습니다. 대부분이 중앙 집중 형태로 구성되다 보니 병목현상이 발생하게 되는 것이죠.
저장에 초점을 둔 로그분석 시스템은 다음과 같이 도식화할 수 있습니다.
저장에 초점을 둔 로그분석 시스템의 도식화
또 분석에도 오랜 시간이 소요되어, 이 데이터를 데이터 마케팅에 활용하는 데에는 한계가 있을 수밖에 없습니다. 이미 트렌드를 지나버린 데이터로 전락해버렸기 때문입니다.
(아주 조금 과장하자면.. 이런 곳에 저장되는 데이터같이 말이죠.)
문제의 해결과 데이터 마케팅의 실현을 위해, 실시간 데이터 처리 기술에 대한 필요성이 증가했습니다.
다음으로 보시는 그림은 데이터의 실시간 처리 과정을 도식화한 것인데요. 데이터 허브에서부터 분산형 구조를 가지게 되어서 이전에 볼 수 있었던 병목현상을 해소할 수 있게 되었습니다. 이렇게 흘러 들어오는 데이터들을 실시간으로 처리하여 다시 olap이나 hdfs 같은 분산 저장 시스템으로 바로 넣을 수 있기 때문에, 마케팅 소스로도 바로 적용이 가능해졌습니다.
(데이터의 실시간 처리 과정 도식화)
빅인에서 실시간 데이터 분석을 위해 사용하는 오픈소스 플랫폼은 아래와 같습니다. AWS 클라우드를 기반으로 구성되어 있고, 그 안에 쿠버네티스와 리소스가 헤비한 소스는 온 프레미스로 사용하는 방식으로 이용 중입니다. 비용이 중요한 스타트업이다 보니, 그림처럼 구성되어 있습니다.
빅인에서 실시간 데이터 분석을 위해 사용하는 오픈소스 플랫폼
이렇게 조합하여 구축한 서비스가 바로 마케팅 자동화 솔루션, 빅인(bigin)입니다.
실시간 처리 데이터 기반으로 제공되어 데이터 마케팅을 가능하게 하는 서비스 빅인에 대해서는 차차 함께 알아가 보고자 합니다.
공개SW 컨트리뷰션 페스티벌 KOSSCON의 여러 주제 중에서도 비즈니스 세션을 맡아주셨던 만큼, 혁팀장님은 실제 데이터가 마케팅에 어떻게 활용되는지 데이터 마케팅 사례에 대해서도 설명을 해주셨는데요.
과연 실무에서의 데이터 마케팅 (또는 데이터 드리븐 마케팅)은 어떻게 이루어지는지, 다음 글에서 이어가 보도록 하겠습니다!
이전 글
(5) 어디까지 해 봤니?마케팅 의사결정에 데이터 활용하기
(4) 추천 알고리즘, 내 취향을 어떻게 그렇게 잘 알아?
(2) 디지털 마케팅 매체의 숨은 공로자 찾기, 어트리뷰션 분석
(1) 우리도 한다, 실무에 당장 적용 가능한 개인화 마케팅
빅인사이트의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
