데이터 거버넌스를 위한 서비스 기획
데이터 거버넌스 중심으로 설계된 BAT의 DMP 'AEer'
지난 7월, 회사에서 저희 팀의 인터뷰와 저희가 만드는 서비스에 대한 소개 글이 발행되었습니다. 인터뷰에서는 조금 부족한 것 같아 저희 서비스 'AEer'에 대한 조금 더 자세한 설명을 적어보기로 했습니다. 100여 명의 회사동료들을 위한 소개, 주요 사용자를 위한 상세한 소개, 벤처 인증 등 외부소개자료까지 여러 번의 서비스 소개글을 적어놨습니다. 이 글은 기능성과 홍보는 조금 빼고, 담백하게 'DMP(Data management platform)'이 가져야 할 중요한 역할에 대한 이야기들, 그리고 'AEer'에 대해 소개합니다.
초록은 언제나 옳습니다
디지털 마케팅은 시장의 반응에 따라 다양한 모습으로 변화합니다. 시장의 반응은 긍정적이든 부정적이든 ‘숫자'나 ‘문자'의 형태로 나타낼 수 있는데요. 우리는 이를 데이터라고 합니다. 그런데, 이 데이터는 양이 매우 많습니다.
광고를 송출하는 채널에서 시작하여, 각 채널에서 송출되고 있는 광고의 수, 고객의 반응을 고려하면, 우리 회사만 해도 하루에도 족히 14만 개가 넘는 데이터가 쌓입니다. 고객과의 관계를 쌓아 올리기 위한 사용자 로그를 포함하면 데이터의 양은 급격하게 증가합니다. 더군다나 이것은 단순히 “쓰기"의 영역입니다. “읽기"까지 고려한다면 그 양은 다시 기하급수적으로 증가합니다.
여기까진 커다란 웅덩이에 물을 채우는 과정과 같습니다. 그런데, 이 데이터들을 그냥 두면 활용하기가 매우 까다롭습니다. 알맞은 데이터들끼리 합치고 정리하는 과정이 필요합니다. 또, 데이터 분석가들이 가져다 사용하기 안정적이고 효율적인 DB설계가 필요합니다. 이것은 커다란 정제수 공장을 만드는 과정과도 같지요.
그러나, 이 데이터들을 가만히 두면 흙탕물이 되어버립니다. 데이터 베이스를 잘 만들어 두었다면, 이러한 문제들이 처음에는 눈에 띄지 않을 테지만, 감당할 수 없을 만큼 데이터가 쌓이고 나면 나중에는 뿌연 흙탕물 사이에서 가까스로 원하는 데이터를 찾아야만 하는 형국이 되어버릴 것입니다. 이러한 까닭으로, 데이터 기반의 서비스는 설계만큼이나 유지보수가 중요합니다. 설계가 온전히 개발의 영역이라면, 유지보수를 가능케 하는 ‘데이터 거버넌스'는 기획과 UX로 지원할 수 있는 영역입니다.
온전히 ‘나'가 정의한 규칙으로 데이터를 수집하고 운영해도 모자란데, 마케팅 분야의 데이터는 ‘나'가 아닌 ‘광고매체'와 ‘고객'에 의해서 생성됩니다. 이들의 관계를 제대로 이해하지 못한다면, 처음부터 이빨이 몇 개 빠진 젠가를 세우는 것과 비슷한 형상이 될 것입니다. 금세 무너지겠지요. 벌칙은 ‘나'가 받습니다.
BAT의 ‘Data work space’, AEer는 이렇게 불합리한 ‘나'의 상황에서 시작했습니다. 처음부터 페널티를 알고 시작하지 않았기에 초기에는 벌칙을 몇 번 받았습니다. 하지만 ‘벌칙은 성공의 어머니(?)’라고, 덕분에 지금 ‘AEer’는 그럴싸한 DMP로써의 모습을 갖추게 되었습니다.
AEer
AEer는 ‘서비스명 정하기' 사내 공모전에 참여한 40개의 작품 중 가장 많은 선택을 받았고, 아래와 같은 의미를 가지고 있습니다.
Air - Data 대류가 일어나는 가상의 공간 (Data를 액체나 기체와 같은 분자에 비유했을 때)
AE+er - 마케팅 데이터 분석, 인사이트 발견 등 AE의 효율적인 업무를 돕는 도구
그렇다면, AEer는 어떤 방법으로 불합리한 상황을 해결하고, 데이터 거버넌스를 이루어냈을까요? 정답은 ‘단순한 규칙'과 ‘느슨한 연결'입니다. ‘느슨한 연결'이라는 말은 많이 들어보셨을 것입니다. 조직 이론 전문가 ‘칼-윅’(Karl Edward Weick)은 1976년, 그의 논문 “Educational Organizations as Loosely Coupled Systems”을 통해 ‘느슨한 연결’ (Loose coupling)에 대해 이야기했는데요.
이 ‘느슨한 연결'은 개인의 권한과 자율성을 바탕으로 필요에 따라 연대하거나, 독립적으로 각자의 역할을 수행하는 것을 기본 골자로 합니다. 기존의 타이트한 조직은 모든 일이 FM으로 돌아갈 때에 잘 맞도록 최적화되어 있는데, 그러다 보면 돌발상황에 대응하기 위한 여유공간이 부족하게 됩니다. 느슨한 연결의 핵심은 이러한 여유공간의 확보에 있습니다. 이를 위해서는 불필요한 의식과 절차를 거둬내고, 전반적인 시스템 개선이 필요한데요. ‘느슨한 연결'을 위한 또 다른 형태의 시스템설계가 필요합니다.
그런데 이 시스템은 기존과는 달리 ‘단순한 규칙'으로 만들어져야 합니다. 단순한 규칙이 중요한 이유는 데이터 거버넌스는 사람이 하는 일이고, 사람은 반드시 실수를 하기 때문입니다. 어떤 일을 하든 규칙이 복잡할수록 실수하기 쉽고, 결과 도출은 느려지게 됩니다. 정교한 규칙은 사람이 개입되지 않는 컴퓨팅 환경에서 더욱 적합합니다.
느슨한 연결
프로그래밍에도 ‘느슨한 연결’(Loose coupling)이라는 동일한 이름의 시스템 디자인이 있습니다. 최근에 유행했던 MSA(Micro Service Architecture) 또한 이 느슨한 연결에 의해 제대로 작동할 수 있습니다. 조직이론의 느슨한 연결과 동일합니다. 상호 간의 연결된 컴포넌트 중 하나가 변화하여도, 다른 컴포넌트에 미치는 영향이 적도록 개발하는 것이 핵심입니다. 마찬가지로, 개별 컴포넌트는 독자적인 역할을 수행할 수도 있도록 만들어집니다.
운영상 변화가 생겼을 때, 기업 혹은 회사와 같은 조직에서는 당장 결과가 잘 드러나지 않는 경우가 많습니다. 반면에 개발환경은 조그만 변화라도 전체적인 시스템에 영향을 주기도 하며, 이를 즉각적으로 파악할 수 있습니다. 그래서 어찌 보면 조직이론보다 개발 방법론에서 이러한 개념이 더 체감하기 쉽습니다.
이 개념은 데이터 간의 상호작용에도 대입할 수 있습니다. AEer는 사용자가 정의한 방식에 따라 Raw data에 추가 정보를 부여합니다. 추가정보는 대체로 사전에 정의되지만, 운영상 의도에 따라 변경되거나, 광고의 특성에 따라 결합할 수 없는 경우도 있습니다. 이러한 형태를 고려하지 않고, 모든 부분이 정규화(Normalization)된 경우 데이터 간의 결합에 애로사항이 생깁니다.
AEer는 이러한 데이터들이 필요에 의해 특정 요소를 배제한 채로 결합되거나, 강제로 별도의 값을 생성하여 안전하게 결합되도록 합니다. 다만. 앞서 언급했듯이 하루에도 14만 개의 데이터가 수집되고 있으므로, 성능과 용도에 따라 적절한 형태로 결합의 강도를 조절하는 것이 어려운 숙제였습니다.
A와 B가 합쳐져도 영원히 논리적으로 문제없도록 해야 합니다.예를 들어 Case A는 ‘목표’ 데이터를 가지고 있고, Case B는 ‘성별' 데이터를 가지고 있습니다. 수집할 데이터를 미리 정의해 두어도, 정보의 격차는 발생하기 마련입니다. AEer는 온전한 데이터를 바탕으로 이러한 Case들을 합성합니다. 결측값이 발생하겠지만 ‘합성이 가능한 상태'를 만드는 것이 골자입니다.
물론 실무자들은 Excel을 활용해 손쉽게 이런 정보들을 걸러내고, 임의로 결측값으로 처리할 수 있지만, ‘사전 정의된 데이터'를 그렇게 만드는 것은 다른 이야기입니다. 실무자들이 Excel에서 특정 Cell을 참조하여 몇 가지 데이터를 추출하고 ‘Pivot table’을 만드는 과정도 비슷할 것입니다.
하지만 실무자가 엑셀을 다루는 것은 컴퓨터의 관점에서는 ‘연결이 없는 상태’입니다. 더 자세히 설명하자면, 연결은 있지만 연결을 위한 규칙은 없는 셈입니다. 컴퓨터의 입장에서 이를 자동으로 구현하려면 수십 개의 예외처리를 따라가야 합니다. 그리고 수십 개의 예외처리는 곧 시스템 성능의 저하를 야기합니다. 변화에 유연하게 대응할 수 없는 ‘단단한 결합'이 되어서는 곤란합니다.
단순한 규칙
느슨한 결합은 AEer라는 커다란 시스템을 이루는 근간입니다. 예외처리 만으로 모든 변화에 유연하게 대응하는 것은 불가능합니다. 적어도 2023년을 기준으로, 하루에 수백만건의 데이터를 치밀한 규칙에 의해 관리할 수 있는 프로세서는 존재하지 않습니다. 그래서 필요한 것은 ‘단순한 규칙', ‘최소한의 규칙'입니다.
단순한 규칙을 세우고 지킴으로써, 컴퓨터의 역할을 제한하고, 성능의 압박을 상당 부분 개선할 수 있습니다. 그런데 여기서 문제가 하나 발생합니다. 컴퓨터는 개발자가 만들어준 단순한 규칙을 실수 없이 지킬 수 있는데요. 사람은 그렇지 않습니다.
하지만, 규칙을 지키지 못한 사람을 탓할 수는 없습니다. 수많은 규칙을 A4용지에 프린트하여 모니터 옆에 붙여놓고, AEer를 사용할 수는 없는 노릇이기 때문입니다. 규칙을 지키기 위해 대단히 신중을 기해 업무를 하는 것은 또 그것대로 부담스러운 일이 됩니다. 그래서 규칙은 아주 간단하고, 이해하기 쉽고, 실수하지 않게끔 만들어져야 합니다. 또 ‘규칙’이 서로 간섭하지 않도록 해야 합니다.
AEer의 규칙은 단순합니다.
1. 동일한 의미의 단어를 다르게 표현하지 않기
2. 데이터의 위계 별로 동일한 데이터를 만들지 않기
3. 광고의 명명규칙 순서 바꾸지 않기
고작 3가지입니다. 이 규칙만 지켜준다면, AEer는 수집한 데이터를 언제든지 원하는 형태로 가공할 수 있도록 도와줄 것입니다.
거버넌스를 위한 UX
그러나 단순한 규칙도 규칙입니다. 규칙의 맹점은 ‘회색지대'가 존재한다는 점입니다. AEer의 경우, 어쩔 수 없이 3번 규칙을 어겨야 하는 상황이 발생하기도 합니다. 그러다 보니 ‘규칙으로 사람을 통제하는 것이 가능한가?’ 싶은 생각이 들 때도 있습니다.
게다가 AEer는 그동안 실무자들이 사용해 본 서비스가 아닙니다. 완전히 새로운 서비스이기 때문에 규칙에 익숙해질 시간이 필요하지만, 주어진 시간은 ‘충분’ 하지 않습니다.
지켜야 하는 규칙이 있다는 것은, 규칙을 어겨서는 안 됨을 의미합니다. 작은 실수나 운영의 변경은 젠가 가아니라 도미노처럼 서비스 전체를 무너뜨릴 수 있습니다. 그렇다고 실수를 한 당사자에게 ‘벌칙’을 줄 수는 없는 노릇입니다.
그래서 미리 이러한 ‘규칙 위반’을 감지하고, 통제할 수 있는 UX를 만들어야 합니다. 이 경우 UX의 역할은 크게 두 가지입니다. 위반을 감지하고, 이를 “통제” 하는 것, 그리고 규칙을 지킬 수 있도록 “제안"하는 것입니다.
가장 대표적인 것은 아래의 그림과 같이 여러 위계에 동일한 데이터를 선택할 수 없도록 ‘저지’하는 것입니다. 위 상황이나 RD를 등록하는 등 주로 데이터를 설정하는 과정에서 저지가 필요합니다. AEer는 이러한 지점을 미리 정의하고, 사용자의 실수가 발생하지 않도록 합니다. 이것은 사용자의 행동을 ‘저지'하는 형태의 통제로, “위계별 동일한 데이터 만들지 않기”에 주로 사용됩니다.
UX를 통한 통제의 방법 :저지다음은 ‘교정'차원의 통제입니다. 단순히 제한하는 것을 넘어 사용자가 입력한 값이 아닌, 규칙에 맞는 값을 출력하는 방식입니다. AEer에서는 100명에 가까운 실무자들이 동일한 용어를 사용하도록 권장하고 있습니다. 이것은 ‘통합룰’ 인데요. 통합룰을 따르지 않아도 되지만, 만약 따르기로 했다면 철저하게 규칙을 지켜야 합니다.
다만, 이러한 규칙들은 단순하기 어렵거나, 다자간의 일관된 사용이 어렵습니다. 그렇기 때문에 사용자의 실수가 발생할 경우 이를 즉각적으로 시스템에 맞게 고쳐줄 프로세스가 필요했습니다. “동일한 단어를 다르게 표현하지 않기”에 주로 사용되는 ‘교정’ 형태의 통제입니다.
UX를 통한 통제의 방법 :교정통제는 절대 일어나선 안 되는 실수를 예방하여 시스템상 오류의 발생을 차단하는 역할을 합니다. 통제라는 갑갑한 이름과는 달리 사용자를 위한 편의성 도구에 더 가깝지요. 살바도르 달리가 이런 말을 했다죠? “내게 자유는 가장 큰 고통이다.” 무엇이든 할 수 있는 자유는 그만한 책임감이나 행동이 따라와야 함을 의미하니다. AEer 통제는 오히려 사용자의 피로도를 줄여줄 수 있는 수단입니다.
통제 이상으로 효과적인 방법에는 제안이 있습니다. 통제가 치명적인 실수의 발생을 막고, 단순한 업무를 지원한다면 제안은 조금 다릅니다. 실수의 중요도가 낮거나, 높더라도 사용자가 정확히 “학습”해야 하는 부분에 대해서는 제안이 이루어집니다. 이를테면 유사한 카테고리의 계정이 가급적 동일한 데이터를 세팅할 수 있도록 제안하는 것입니다. AEer가 표준으로 설계한 기본 데이터 또한 마찬가지입니다.
UX, 통제하지 않고, 제안하기이러한 ‘제안’은 중요도에 따라 통제의 ‘교정’과 더불어 사용될 때도 있습니다. ‘제안’은 사용자에게 최소한의 ‘학습’이 필요한 상황에 적합합니다.
AEer의 데이터 리포트
AEer는 현재 미시적인 문제해결을 위한 ‘드릴 다운’ 형태의 데이터 탐색을 지원하고 있습니다. 엑셀을 통해 10만 행이 넘는 데이터를 조회했던 것에 비교할 수 없을 만큼 빠른 속도로 원하는 결과를 찾아볼 수 있습니다.
그러는 한 편으로는 거시적인 데이터를 활용하기 위한 비장의 무기들을 준비하고 있습니다. 특히 광고 운영을 위해 ‘채널’과 ‘비용/매출 목표’ 관리를 중심으로 설계된 리포트는, 현재까지 존재한 다른 어떤 리포트 보다 문제 해결에 적합하다고 자부할 수 있습니다.
존재하는 모든 것이 아닌, “필요한 모든 것”에 집중했기 때문입니다. 또 필요한 모든 것을 적절할 형태로 시각화했기 때문입니다. 대부분의 데이터 시각화 서비스는 ‘상호작용’이 가능함에도 불구하고, 정적인 형태의 데이터 리포트를 제공하고 있습니다. 이들의 상호작용은 ‘시계열’에 한정됩니다.
댜표적인 3차원 도표 버블차트Web을 통해 열람할 수 있는 시각화 도구는 ‘상호작용’이 가능한 것이 특징입니다. 그러나 상호작용을 적절하게 사용한다면, 우리는 3차원을 넘어 새로운 차원의 데이터 열람에 접근할 수 있습니다.
마치며
데이터를 바탕으로 작업을 하다 보면 이상한 자신감이 듭니다. 완벽한 데이터로 미래를 예측할 수 있을 것 같다는 자신감말입니다. 그러나 영리한 사람일수록 빠르게 정신을 차립니다.
물론 데이터는 현상을 파악하는데 매우 큰 도움이 됩니다. 이러한 연장선에서 현상을 파악하는 것은 미래에 할 행동을 결정하는데 큰 도움이 됩니다. 그러나 시장은 카오스입니다. 모든 것의 인과관계를 우리가 어떻게 증명할 수 있을까요? 가능할까요? 글쎄요. 그게 가능한 세상이라면, 조금 재미가 없어질지도 모르겠습니다.
홍진세계에 이정표를 제공할 수 있는 기술을 언제쯤 만나게 될지는 모르겠습니다. 다만, AEer는 디지털 광고 데이터 탐험가를 위해 다양한 형태의 관점과 도구를 제공하는 ‘Swiss Army Knife’ 정도가 되었으면 합니다.
