데이터를 잘 사용하려면 알아야 하는 것들(1)
데이터로 이루고자 하는 것은 혼돈의 정규화이다
인공지능이라는 말은 잠깐 쓰레기통에 넣어두자
데이터가 새로운 시대의 오일이라는 말들, 데이터 분석과 빅 데이터, 그리고 인공지능이 앞으로의 먹거리라는 말들은 잠깐 저 구석에 치워두자. 사실 이러한 말들은 데이터의 축적과 서비스적 사용, 그리고 더 깊이 들어가서 데이터 자체가 사람에게 무엇을 의미하는지 티끌만큼도 관심을 쓰지 않는 공허한 말들이다. 왜냐하면 이런 말들은 우리가 무엇을 어떻게 해야 하는지에 대한 가치판단을 도와주는 말들이 아니기 때문이다.
"이웃을 사랑하라"라는 말은 직관적이고 실질적이다. 정말로 이웃을 사랑하면 되기 때문이다. 하지만 "데이터가 새로운 시대의 오일이다"라는 말은 "데이터가 중요하다"라는 말인데 그래서 우리가 무엇을 해야 하는지에 대해 정보를 주는 말이 아니다..
생각해보자. 위의 공허한 말들은 이런 말과 같다. "__은 중요하다". 여기서 "__"에 무엇을 넣어도 말이 성립된다. 인간, 사랑, 수면 등등등 어떤 단어를 넣어도 되는 이런 말은 누구나 생각할 수 있고 동시에 누구나 흘려들을 수 있는 말이다.
물론 "데이터는 중요하다"라는 말을 듣고 개인이 자신만의 생각과 가치판단 체계를 설립하고 그 생각을 현실과 비교해 나아가는 프로세스를 정립한다면 또 다르겠다. 하지만 굳이 시간과 돈을 쏟아서 그런 고통을 겪을 사람들이 얼마나 있을까? 더 나아가서 그런 사장님들이 얼마나 많을까? 대부분의 경우 이 말에 홀려서 데이터와 관련된 경력직을 채용한 후에 "데이터가 중요하니 네가 한번 알아서 해봐라~"라는 식으로 테스트를 한다.
문제는 패러다임의 변화는 1~2년 안에 일어나지 않는다는 것이다. 심지어 개인으로서의 나조차 나의 성격과 생활 패턴을 바꾸는데 몇 개월이 걸리는데, 회사의 전체적 구조를 데이터가 잘 만들어지고 또 잘 사용되는 시스템으로 바꾸기 위해서는 얼마나 많은 시간과 돈이 들어갈까? 여기에 더해서 개인의 삶에 대한 철학이 바뀌더라도 그 효과가 천천히, 그리고 다양한 방면에서 일어나듯 회사 또한 데이터를 기반으로 한 구조로 바뀐다고 곧바로 매출이 몇 배 씩 뛰고 그렇지는 않다. 설령 그렇더라도 그것은 이전에 충분히 쌓아놓은 실패와 도전의 결과일 것이다.
그래서 데이터를 잘 사용하려면 어떻게 해야 할까?
나는 개인적으로 두 가지가 필요하다고 생각한다.
1. 데이터를 왜 사용하는지에 대해서 깊이 생각해본다
2. 그래서 지금 무엇을 해야 하는지 생각해본다.
위의 두 가지 말은 정말로 몇 줄 되지 않지만 실제로 이루기는 너무나도 어려운 것이라고 생각한다. 아래는 왜 그것이 쉽지 않은지에 대해서 설명을 해보도록 하겠다
피아제의 인지 발달론에 따르면 아이들은 태어나면서부터 정리정돈, 좋은 사람, 사랑 등에 대한 관념을 아는 것이 아니다. 그렇기에 물건을 잘 정리하라고 말해도 "정리"라는 개념이 무엇인지 알지 못하기 때문에 행동을 이끌어낼 수 없다. 아이가 물건들을 정리하게 하려면 직접 부모님이 물건들을 정리하는 과정 자체를 하나하나 가르쳐야 한다. 그리고 그렇게 쌓인 물질적인 행동들이 "정리"라는 하나의 관념을 이룰 때 아이는 비로소 다른 사물들에도 "정리"라는 개념을 사용하여 세상을 바꿀 수 있다. 다시 말해서 무언가 굉장히 관념적이고 추상적인 목표를 위해 물리적인 실행을 한다는 것, 즉 회사에서 일을 한다는 것을 잘하기 위해서는 아래와 같은 요소들을 필요로 한다.
1. 모든 행동과 목표들이 최종적으로 구성을 이루는 최상단의 가장 추상화된 목표
2. 그 목표를 구성하는 세부적인 목표들
3. 세부적이지만 추상적인 목표들을 이루기 위해 실질적으로 해야 하는 개개의 행동들
4. 그 행동들이 추상적인 목표에 부합하는지 알려줄 경험자
위의 구성들을 잘 살펴보면 어디선가 들어본 말들이라고 할 수 있다.
1. 최상단의 가장 추상화된 목표 : 회사 비전
2. 목표를 구성하는 세부 목표 : 분기별 프로젝트
3. 행동 : 프로젝트를 위해 개개인이 실질적으로 해야 하는 일
4. 경험자 : 그 개개의 행동이 목표와 일치하는지 감독하는 매니저
이처럼 인간이 아이에서 어른으로 성장 함에 따라 무언가를 배우고 성취하는 과정 자체가 회사의 구조와 거의 정확히 매칭이 된다는 것은 참 놀라운 일이다. 사실 지금 우리가 당연히 받아들이는 회사의 정형적 구조 자체들이 수백 년에 걸쳐서 적자생존에서 살아남은 사회적 구조라는 것을 생각해보면 이 구조 자체가 인간에게 가장 합리적이면서 동시에 효율적인 구조 중 하나라는 것을 부인할 수 없기는 하다 (물론 미래에는 다를 수도 있지만).
문제는 요즘에 말하는 "데이터를 잘 사용하자"라는 것을 최상단의 가장 추상적인 목표, 즉 비전으로 두고 무언가 행동을 해보려고 할 때는 잘 돌아가지 않는다는 것이다. 비전이 있고 ("데이터를 활용하여 고객의 만족을 극대화 하자?"), 어떻게 행동해야 하는지도 대략 알겠고 ("추천 시스템을 적용시키자"), 그래서 무엇을 해야 하는지도 알겠는데 ("데이터를 쌓자"), 왜 도대체 대부분의 데이터 팀과 그 팀을 만든 회사는 실패하는 것일까?
내 개인적인 생각으로는 아래와 같은 문제들 때문이라고 생각한다
1. 비전이 옳지 않다
생각을 해보자. 정말로 "고객의 가치 최대화를 위해 데이터를 사용하자"가 올바른 비전인가? "좋은 사람이 되자"라는 말은 직관적으로 이해할 수 있다. 그리고 그 사람이 어떤 특성을 가지고 있고 또 무엇을 해야 하는지 대략적으로 바로 떠올릴 수 있다. 그런데 고객 가치의 최대화? 도대체 이건 어떤 개념인가? 그래서 우리의 고객은 누구이고 또 최대화하고자 하는 가치는 무엇인가? 설령 그것이 잘 정해져 있다고 하더라고 회사의 모든 구성원들이 동일하게 이해하고 있을까?
대부분의 경우 이런 비전들이 잘 정립된 생각 끝에, 그리고 수많은 토론과 공유 끝에 만들어진 가장 추상화된 관념이 아니라 단지 어디서 주워섬긴 말인 경우가 많다. 우리는 그것을 비전이 아니라 그냥 헛소리라고 한다
2. 세부 목표가 없다
일단 비전이 없기 때문에 그 비전을 이루는 세부적인 목표조차 탄탄할 수 없다. 이것을 어떻게 알 수 있느냐 하면 "그래서 요번 분기, 그리고 다음 분기에 뭐하지?"라는 생각이 한참 머리를 떠돈다면 바로 올바른 비전이 없다는 것이다.
설령 올바른 비전이 있다고 하더라도 그래서 어떤 세부적인 관념들을 중장기적 목표로 해야 하고 (예: 데이터 분석 레이어와 서비스 데이터 레이어를 나누자) 또 그 목표가 현실과 맛지 않을 때(예: 왜 오프라인 리소스를 온라인 부서가 사용해요?) 어떻게 그 목표를 다시 수정하고 만들지에 대한 논리적이고 탄탄한 생각이 없다면 세부 목표가 없는 것과 마찬가지이다.
3. 경험자가 없다
위의 비전과 세부적인 목표가 있더라도 그것들을 이루기 위해 어떤 세부적인 것들을 실질적으로 해야 하는지 모범을 알려주고 감독할 사람이 없다면 사실 관념과 개념은 그냥 생각에서 끝날뿐이다. 그리고 많은 경우 데이터를 사용한다는 것이 무엇인지 세부적으로 알려줄 사람들은 많이 없다. "AI모델을 만들어야 돼!"라고 누구나 말할 수 있지만 "그렇기에 우리 서비스는 이런이런 데이터 피드백 구조와 그에 대한 실적 발생을 이렇게 해야 돼"라고 말할 수 있는 사람은 별로 없다
0. 데이터라는 것이 무엇인지 잘 모른다
하지만 위의 모든 3가지 문제들 이전에 가장 심각하고 광범위한 문제가 있다. 바로 왜 데이터가 사람들에게 사용되기 시작했는지에 대한 이해를 회사의 그 누구도 가지고 있지 않는 경우이다.
데이터가 무엇이라 생각하십니까?
데이터가 무엇인지 그리고 어떻게 사용되는지 논하기 전에 아래와 같은 두 가지 의견을 먼저 소개하고 넘어가고 싶다.
조던 피터슨 박사에 따르면 인간의 삶은 예측 가능하고 안정적인 환경에서 혼돈스럽고 위험한 환경으로 그리고 다시 안정된 환경으로 돌아오는 순환의 연속이자 그 프로세스 자체이다. 여기서 재미있는 것은 (참된 인간이라면) 그 혼돈스럽고 위험한 환경이 다가오는 것을 눈을 감고 기다리는 것이 아니라 감당할 수 있는 한계 내에서 적극적으로 찾아다녀야 한다고 한다. 이렇게 두려운 위험과 혼돈을 끊임없이 주시하고 그에 대한 반응을 설계 함으로써 그 혼돈스러운 상황 자체를 내가 예측 가능하고 또 안정적으로 지낼 수 있는 환경으로 차츰차츰 만들어 나아가는 것이다.
그리고 더 나아가 이러한 위험과 혼돈, 즉 우리가 생각했던 것이 사실은 세상에서 실제로 일어나고 있는 것과는 전혀 다르다는 사실은 우리의 기존 믿음을 부수고 새로운 사람이 되도록 한다(물론 그냥 부수어지고 널브러져 죽을 수도 있지만). 이러한 일이 일어나는 근본적인 이유는 우리가 세상에 대해 인식하는 정보들이 극히 한정적이고 추상화되어 있기 때문이다. 우리가 어떤 현상에 대해서 인식을 할 때 그 현상의 굉장히 표면적이 것들을 기반으로 의견을 일차적으로 만든다. 그리고 그 의견은 우리가 실제로 세상과 상호 작용을 함으로써 끊임없이 바뀌게 되는데 그 바뀜 자체가 사람을 혼돈과 스트레스로 몰아세운다. 즉 우리는 세상에 대해 모든 것을 알지 못하기 때문에 끊임없이 세상에 의해 깨지면서 의견을 계속하여 업데이트해 나아가는 것이다.
여기에 바로 데이터의 효용이 있다.
데이터는 우리의 행동과 생각이 세상에 어떤 영향을 주는지 측정할 수 있는 일종의 감각자극이라고 할 수 있다. 기획을 실행하면 그에 상응하는 데이터가 만들어지고, 또 세상이 변하면 그에 따라 서비스의 데이터 또한 출렁인다. 그리고 데이터를 활용해 만들어진 지표들은 그 감각적인 자극들을 개념화하여 이해하고 더 나아가 그 개념에 근거하여 행동을 하기 위해 사용하는 일종의 자극 표준화이다.
쉽게 말해보면 회사를 한 명의 인간이라고 해보자. 끊임없기 바뀌는 주변 환경에 반응하기 위해서는 그 환경을 인식할 수 있는 툴이 있어야 한다. 우리 같은 경우에는 촉각, 미각, 시각 등이 있는다. 회사의 경우 데이터 지표들이 그런 촉각과 미각 그리고 시각을 대신한다고 할 수 있다.
이런 지표들을 기반으로 회사는 자기 자신의 행동이(혹은 기획이) 주변 환경에 어떤 영향을 주고 또 그럼으로써 어떤 피드백을 받는지 인지한다. 그러면서 동시에 기획에 대한 반응으로 변화된 혹은 만들어진 지표의 흐름들을 다른 회사에서는 어떻게 해석하고 또 관념화시키는지 차근차근 알아 나아간다. 즉 인간의 아기가 세상을 알아 나아가는 방식처럼 회사 또한 세상에 대해서 "수많은 행동 -> 카테고리화 & 관념화 -> 더 관념적인 생각 -> 더 관념적인 생각 -> 세상에 대한 이해"라는 프로세스를 통해 알아 나아간다.
즉, 데이터 자체로서는, 마치 신체 전기신호처럼, 단순히 외부 환경에서 유래되는 자극일 뿐이다. 그 수많은 데이터들의 케이스를 카테고리화 하고 관념화하여 세상과 그 세상에서 행동하는 자기 자신의 궁극적 목표에 대해 알아가는 과정이 없다면 데이터들은 신호가 아니라 단순 노이즈와 다를 바 없다.
물론, 그렇다고 데이터 자체의 중요성을 무시하는 것이 아니다. 일단은 데이터가 있어야 기획의 평가든 아니면 회사의 장기계획이든 만들 수 있기 때문이다.
그런데 또 여기서 한 가지 문제가 더 생긴다. 우리는 촉각, 시각, 미각 등이 이미 수많은 진화를 거쳐 효율적으로 만들어졌고 또 태어날 때부터 주어진다면, 데이터와 데이터 지표는 고정된 형식이 없다는 것이다. 그렇기에 데이터를 만들 때부터 그래서 이 데이터의 목적이 무엇이고, 앞으로 어떻게 쓰일 것이고, 또 한계가 무엇인지 치열하게 고민해야 한다는 것이다.
즉, 데이터를 다양하게 사용하여 어떤 데이터가 필요한지 알기 전에 이미 데이터를 만들 때부터 그 답을 알고 있어야 한다는 것이다. 즉, 계란이 먼저인가 아니면 닭이 먼저인가 같은 문제로 돌아오게 된다.
다음에 계속....
