데이터 가치 변환 측정기
어떻게 하면 데이터가 만들어낸 가치의 양을 측정할 수 있을까?
“내가 가진 데이터는 얼마나 가치로 변환되고 있지?”
최근에 이런 질문을 스스로 던져보고 있는데 대답하기가 참 쉽지 않다. 데이터를 더 잘 활용하고 싶다는 마음은 데이터 관련 일을 할 때부터 가지고 있었다. 데이터를 통해서 무엇인가를 해보고 싶은데, 그게 참 어려웠기 때문이다. 그렇게 4년 정도를 노력해 왔는데, 과거에 비해서 얼마나 더 데이터를 잘 활용하고 있는지 판단하기가 어려웠다. 만약 과거의 현재의 차이를 알 수 없다면 앞으로 몇 년을 더 한다고 해도 실제로 개선하기는 어렵다고 생각했다.
사람은 무엇인가의 가치에 대해 말할 때 그 사람이 가지고 있는 가치관에 따라서 말한다. 따라서 “데이터의 가치라는 문제를 어떤 가치관을 가지고 볼 것인지”가 첫 시작으로서 적절한 질문이라고 생각했다. 나는 회사에서 일하고 있고 회사는 자본주의의 가치관을 가지고 있다. 자본주의는 경제 성장에 대한 믿음을 토대로 발전해왔고 따라서 회사는 더 많은 돈을 버는 것을 가치 있는 것이라고 생각한다. 회사가 아니라 만약 봉사단체나 종교단체, 과학자라면 데이터에 대한 가치를 다르게 생각할 수 있다. 하지만 회사에서는 미래에 더 많은 돈을 벌기 위해서 데이터에 투자하고 있을 것이다.
그렇다면 회사가 데이터를 활용해서 돈을 얼마나 더 벌었는지를 측정하면 데이터에 대한 가치를 측정할 수 있을 것이다. 여기서 “돈을 얼마나 더 벌었는지”에 대해서 한 번 생각해볼 필요가 있다. 돈을 번다는 의미가 단기적으로 오늘 얼마나 벌었는지를 뜻할 수도 있지만, 현재부터 먼 미래까지 장기적으로 얼마의 돈을 벌었는지를 이야기하기도 한다. 회사의 기업가치를 한 번 생각해보자. 회사의 기업 가치는 단순히 지금 버는 돈 만으로 결정되지 않는다. 현재부터 미래까지 벌어들일 돈에 대한 기대치를 담아서 현재의 기업 가치를 정하곤 한다. 데이터 또한 마찬가지일 것이다. 오늘 쌓은 데이터가 오늘 더 많은 돈을 벌게 해주지 못했을지라도 미래에 어떤 때에 더 많은 돈을 벌어줬다면, 데이터는 가치가 있을 것이다.
“데이터가 단기적 수익을 얼마나 만들어주는지를 어떻게 측정할 것인지?”라는 문제는 도전적이다. 하지만 “데이터가 현재부터 미래까지 장기적으로 얼마의 수익을 만들어주는지를 어떻게 측정할 것인지?”라는 문제에 비하면 쉬워 보인다. 이 문제는 인과추론의 문제 중에 하나로 데이터와 장기적 수익 사이의 관계를 찾아내야 하는 문제이다. 인과추론의 golden standard인 A/B 테스트는 주로 단기적인 인과추론에 사용된다. 단기적인 인과추론에 대해서도 명확하게 답을 내리지 못하는데, 장기적인 효과를 알아내는 것은 너무나도 어려운 일이다. 그렇다면 도대체 어떻게 데이터의 가치를 측정할 수 있는걸까? 이 많은 회사들이 모두 데이터에 투자하고 있는데 그 효과에 대해서 아무도 정확히 측정하고 있지 못한걸까?
이에 대한 힌트를 얻은 실험이 하나 있다. 2017년 유럽에서 100명이 넘는 이탈리아 신생기업 창업자를 대상으로 과학적 사고방식 여부를 변수로 해서 [통제실험](https://www.gwern.net/docs/economics/2019-camuffo.pdf)을 했다. 통제집단과는 달리 실험 집단은 과학적 사고방식을 하도록 훈련받았다. 전략은 하나의 이론일 뿐이고 MVP와 시제품은 가설을 시험하는 실험이라는 식으로 말이다. 실험 결과 과학적 사고 집단에 속했던 회사들은 평균 1만 2000달러가 넘는 수익을 낸 반면, 그렇지 않은 회사들은 평균 300달러에도 미치지 못하는 수익을 냈다. 즉, 과학적 사고방식의 여부는 회사가 버는 수익에 큰 영향을 준다.
따라서 이렇게 생각해볼 수 있다. 데이터의 가치를 직접적으로 정확하게 측정할 수는 없어도, 데이터를 통해서 회사가 과학적 사고방식을 가지고 일하게 되었는지를 측정할 수는 있다. 데이터를 통해 회사가 과학적 사고방식을 가지고 일하게 되었다면 데이터를 통해 회사는 더 많은 돈을 벌게 될 것이라고 추론할 수 있지 않을까? 따라서 문제는 “데이터를 통해 회사가 얼마를 더 벌었는가”에서 “데이터를 통해 회사가 얼마나 더 과학적으로 사고하고 일하게 되었는가”로 바뀌게 된다. 이것을 어떻게 알 수 있을까?
과학적으로 사고하면서 일한다는 것을 정의할 필요가 있다. 많은 회사들은 이미 많은 데이터를 보고 있고 그 데이터를 참고해서 의사결정을 한다. 하지만 데이터를 통해 과학적으로 사실을 발견하고 그에 따라 의사결정하고 있냐고 하면 대답하기는 어려울 것이다. 데이터를 보더라도 이미 가지고 있는 직관에 따라 행동할 가능성이 높다. 행동 경제학의 연구에 따르면 인간은 체계적으로 편향적으로 사고한다. 따라서 데이터를 보는 것만으로는 충분하지 않다. 가설 기반으로 통계적 실험을 설계하고 결과를 통계적으로 해석한다면, 인간의 편향적 사고가 의사결정 과정에 낄 확률은 상당히 낮아질 것이다.
과학적으로 의사결정한다는 것은 과학적 실험을 통해 사실을 발견하고 그 사실을 토대로 의사결정한다고 말할 수 있을지도 모른다. 이 과정을 따르면 자연스레 이전에는 몰랐던 것을 알게 되고 그게 학습으로서 회사의 성장을 이끌어낸다. 따라서 실험을 통한 학습을 했는지의 여부를 보면 과학적 의사결정을 얼마나 하고 있는지 알 수 있지 않을까? 실험을 통한 학습의 양이 회사가 얼마나 과학적으로 사고하고 일하는지를 유추할 수 있게 해 줄 수 있지 않을까? 실험을 통한 학습의 양을 늘린다면, 결과적으로 회사가 더 장기적으로 많은 돈을 버는데 영향을 줄 수 있지 않을까?
이런 사고 과정을 통해 “데이터가 가치화되는 양”을 “실험을 통한 학습의 양”으로서 측정할 수 있겠다는 생각을 하게 되었다. 이런 생각이 옳지 않더라도, 무엇인가를 측정하려고 하는 노력은 결국 개인과 조직의 성장으로 연결될 것이라고 생각한다.
