빅데이터가 바꾸는 삶

플랫폼 경제학 4/6

Cafe Series no.45 Bakery Cafe

2025/6/12

세상은 정보로 만들어집니다. 세상이 정보이고 정보가 세상입니다. 세상의 의미를 이해하기 위해서 정보를 가공한 것이 데이터입니다. 데이터를 목적에 맞게 사용하기 위해서는 정보의 바다인 세상에서 데이터를 추출해서 저장하고 분석하는 가공과정을 거쳐야 합니다.

데이터를 만들어 사용하는 가장 중요한 목적은 미래를 예측하는 데 있습니다. 내일 날씨는 어떨까? 선거에서 누가 당선될까? 증시는? 결혼 상대는? 미래를 잘 예측할 수 있다면 우리는 오늘 당장 신의 위치에 다가설 수 있을 것입니다.

세상의 모든 일은 예외 없이 관계 속에서 일어납니다. 난데없이 일어나는 일은 없습니다. 이미 일어난 일들 속에서 데이터를 통하여 변수들 간에 유의미한 관계의 패턴을 찾아내고 이 패턴을 적용하여 미래를 예측하는 것이 바로 데이터의 목적입니다.

빅데이터가 등장하기 전에 데이터는 모두 샘플 데이터였습니다. 데이터라고 하면 일정한 변수, 일정한 관찰수로 측정한 숫자의 집합을 말했습니다. 변수들 간의 관계에 대한 이론을 바탕으로 변수를 정하고 비용 한도 내에서 샘플 크기를 결정했습니다. 데이터를 분석하기 위해서 통계학이라는 학문이 만들어졌습니다.

제4차 산업혁명 시대 데이터는 완전히 다릅니다. 센서라는 칩만 있으면 세상 모든 것이 자동적으로 데이터가 됩니다. 인간이 지각하고 감각하는 모든 것이 데이터가 됩니다. 변수를 정할 필요도 없고 한정된 크기의 샘플일 필요도 없습니다. 세상 모든 것의 모든 데이터, 그래서 빅데이터입니다.

빅데이터는 모두 클라우드에 저장됩니다. 클라우드는 각처에 분산된 데이터센터의 총합을 말하는 개념입니다. 분산되어 있지만 모두 연결되어 하나를 이룹니다. 빅데이터는 인간의 능력으로 들여다볼 수도 없고 보아도 알 수가 없습니다. 그것은 AI만이 할 수 있는 일입니다.

빅데이터와 AI, 그리고 클라우드의 기술이 모두 집약된 것이 플랫폼입니다. 플랫폼에서 모든 사용자의 모든 움직임이 데이터가 되어 저장되고 AI에 의해서 분석됩니다. AI는 각각의 사용자가 무엇에 관심이 있고 무엇을 하려는지 사용자 자신보다 더 잘 압니다. 그래서 최상의 소통과 최적의 거래를 할 수 있게 합니다. 그래서 우리의 삶을 다른 차원의 세계로 옮겨왔습니다.

플랫폼에서 책 읽고 글 쓰고 그림 그리면서 세상 사람들과 소통하는 저의 삶은 빅데이터와 AI의 도움이 없었다면 상상할 수도 없었을 것입니다. 플랫폼은 제가 몰랐던 저의 관심을 알고 제가 알 수 없었던 책과 그림 소재를 보여줍니다. 세상 여러 나라의 많은 친구들과 소통의 창구를 활짝 열어 주었습니다. 저의 삶을 다른 차원의 세계로 데려왔습니다.

오늘 소개하는 책은 빅데이터라는 개념이 처음 소개되기 시작했을 때 나온 책으로 빅데이터의 기본개념을 설명하고 몇몇 사례를 보여주고 있습니다. 지금 와서 보면 여기 보여주는 사례들이 지극히 원시적이라는 생각이 듭니다. 이 책의 저자도 지금의 기술 발전을 생각하지는 못했을 것입니다.