더 많은 데이터에는 더 큰 가치가 있을까?
우리가 잘못 알고 있는 데이터 관련 상식들
"많은 데이터를 쌓아서 거기서 인사이트를 얻어서 성공했다"
이런 스토리는 이제는 너무 흔하다. 그래서 너도 나도 모두 더 많은 데이터를 쌓으려고 한다. 이제는 수많은 훌륭한 데이터 플랫폼들이 아주 저렴한 가격으로 서비스를 제공하기 때문에, 빅데이터는 이제는 더 이상 도전적인 과제가 아니다. 하지만 데이터는 많다 못해 넘치는데, 왜 여전히 데이터를 잘 활용하는 것은 어려운 것일까?
예를 들어 다음 2개의 회사를 비교해보자. 만약 데이터의 양에 따라 데이터의 가치가 비례한다고 하면 B 회사의 데이터의 가치가 A 회사의 데이터의 가치보다 클 것이다. 어쩌면 그럴 수도 있겠지만 항상 맞는 것은 아니다. 1MB의 데이터를 활용해서 가치를 만들어내는 일과 1TB의 데이터를 활용해서 가치를 만들어내는 일은 들어가는 노력과 시간의 양이 차원이 다르다. A 회사의 5명의 직원이 모두 어렵지 않게 데이터를 보고 일상의 의사결정에 데이터를 활용하고 있는데, B 회사의 100명의 직원은 정작 데이터는 크지만 데이터를 보는 노력이 더 많이 들어가서 일상적으로 의사결정에 데이터를 활용하지 못한다면 어떨까?
A 회사 : 5명의 직원, 5만 명의 사용자, 1MB의 데이터
B 회사 : 100명의 직원, 100만 명의 사용자, 1TB의 데이터
사실 현실은 다음의 그래프와 같지 않을까 싶다. 데이터가 없을 때보다 있을 때는 가치가 클 것이다. 하지만, 어느 순간 데이터의 양이 늘어나도 데이터의 가치가 늘어나지 않을 수 있다. “데이터의 양이 많아지면 데이터의 가치는 커진다”라는 명제는 성립하지 않지만 “데이터의 양이 많아지면 더 많은 리소스가 들어간다”라는 명제는 성립할 것이다.
더 많은 데이터를 수집하는 것의 문제가 해결된 현재의 상황에서는 (물론 여전히 많은 노력이 들어간다) 그렇게 많이 모은 데이터가 빛을 발하지 못하는 문제에 집중해야 한다. 사실 이 문제의 스타트업 본연의 특성과 관련이 있다. 바로 빠른 성장이다. 충분히 빠르게 기업이 성장하고 있다면 일하는 방식의 변화가 기업과 서비스의 크기의 변화를 따라잡지 못할 가능성이 크다. 문제는 바로 여기에 있다. 5명이서 함께 일하는 것은 100명이서 함께 일하는 것에 비하면 정말 쉽다.
5명이서 일하던 때의 방식을 100명이서 일할 때까지 유지한다면 다음과 같은 상황이 발생한다.
1. 데이터를 찾기가 너무 어렵다
5명 시절에는 내가 데이터를 심으면 내가 어떤 것인지 알기 때문에 다른 사람이 잘 찾을 수 있도록 하는 것은 고려하지 않는다. 그렇게 100명까지 간다면, 데이터는 도저히 찾을 수 없다. 데이터를 찾으려면 코드에 찾아가야 하는 상황을 벗어나지 못하는 상황이다.
2. 중복된 데이터가 너무 많다
어떤 데이터가 있는지 알기 어렵기 때문에 기존에 있는 데이터인지 확인할 수 없고 기존에 있더라도 내가 원하는 방식대로 데이터가 기록되고 있는지 알 수 없기 때문에 “새로” 데이터를 로깅한다. 그렇게 수많은 데이터가 중복되어 간다.
3. 틀린 데이터가 너무 많다
5명 시절에는 엔지니어링 측면에서 복잡도도 낮은 상황이다. 따라서 코드 베이스가 어떻게 동작하는지 이해하는 것은 어렵지 않다. (실제로 서비스의 복잡도도 낮을 것이다) 따라서 이해를 하고 데이터를 로깅하기 때문에 틀릴 가능성이 낮다. 하지만 100명 수준으로 올라간다면 전체를 이해하는 것은 불가능에 가깝다 (읽는 것조차 불가능하다). 그렇게 점점 데이터는 틀려가지만 이걸 인지하지 못한다.
4. 데이터가 자주 변한다
5명 시절에는 내가 데이터를 심고 내가 보기 때문에 내가 아니면 데이터를 바꿀 사람이 별로 없다. 즉, 변화의 가능성이 많지 않다. 하지만 100명이 되면 모든 데이터는 다 변할 수 있다고 가정해야 한다. 변화를 제어할 수 없다면 신뢰할 수 없고 신뢰할 수 없다면 사용하지 않는다. 따라서 중복해서 따로 데이터를 쌓는다.
데이터의 가치라는 문제 안에는 기업의 성장 문제가 들어있다. 영원히 1명이서 일한다면 이런 문제는 발생하지 않는다. 5명이 일할 때와 100명이 일할 때는 전혀 다르다는 것을 인지해야 하고 본질적인 문제를 파악해야 한다. 생성된 데이터를 활용하는 것으로 데이터 가치화의 문제를 생각해볼 수 있다. 물론 이 문제도 중요한 문제이다. 하지만 좀 더 근본적인 문제는 데이터가 생산되는 방식에 있다. 데이터 가치화의 문제를 해결하기 위해서는 “데이터가 생성되는 방식에서의 혁신”이 필요하다.
이런 질문을 던져볼 수 있을 것 같다.
“우리는 정보가 부족해서 더 나은 의사결정을 못하고 있을까?”
창업 초기의 애플보다 IBM이 더 많은 정보를 가지고 있지 않았을까? 창업 초기의 페이스북보다 구글이 더 많은 정보를 가지고 있지 않았을까? 우리는 수많은 스타트업이 더 많은 데이터를 가지고 있는 기업을 이기는 것을 목격한다. 하지만 어느 순간 스타트업은 성장의 속도가 더뎌지고 수많은 대기업과 같이 변하기 시작한다. 성장이 병목을 만들고 그 병목이 성장을 가로막는 것이다. 스타트업의 성장이 만들어내는 데이터의 문제를 파악하고 해결함으로써 여전히 스타트업일 수 있게 하는 것이 어쩌면 성장하는 기업의 데이터 직군에게 주어진 역할이 아닐까 싶다.
