빅데이터를 통해 패턴을 읽어라

바둑이나 장기를 제일 잘 두는 사람은 누구일까요? 옆에서 훈수 두는 사람이랍니다. 훈수꾼은 실제 바둑이나 장기를 두는 당사자보다 실력이 낮을 수 도 있습니다. 그럼에도 실전에서 돌아나 말을 쥔 선수보다 게임을 더 잘 읽는 이유는 무엇일까요? 

훈수꾼은 옆에서 게임판 전체를 보고 있기 때문입니다. 실전에 몰입해 있는 당사자들은 전체 판을 보며 상황을 전개한다고 하지만 숲보다는 나무에 더 집착할 수밖에 없습니다. 당장 다음 수에 들이닥칠 위험을 어떻게 막아내고 물꼬를 터나 갈지 고민해야 하기 때문입니다. 이다음 수를 몇 수나 더 읽어내느냐가 고수의 수준을 판가름하는 것이기도 하지만 그다음 수는 내가 읽는 대로 가는 게 아니라는 겁니다. 상대방이 놓는 다음 수가 나올 때마다 수정되고 변화되는 것이 바둑판과 장기판의 묘미입니다.

전체판을 보고 있다는 것은 무엇일까요? 맥을 잘 잡고 있다는 겁니다. 전체판은 빅데이터입니다. 빅데이터를 보고 있으면 맥을 제대로 짚을 수 있습니다. 요점이 무엇인지 알 수 있다는 겁니다. 요점을 잡는다는 것은 패턴을 읽어내야 가능합니다.

빅데이터는 설명이 필요 없습니다. 전체이기 때문입니다. AI가 등장하기 전에는 빅데이터를 처리할 능력이 안되었기 때문에 샘플링을 하고 확률과 통계를 들이대는 이론이 필요했습니다. 전체를 다 들여다보기에는 시간과 돈이 필요했고 기술도 필요했지만 그렇게 할 수 없었기 때문입니다. 하지만 이제는 AI를 학습시킬 데이터를 누가 더 많이 확보하느냐가 경쟁의 초점이 되어버렸습니다. 패러다임이 바뀐 것입니다.

우리는 자신도 모르는 사이에 온갖 SNS에 자기의 이동 동선과 관심거리에 대한 개인 정보를 실시간으로 제공해주며 플랫폼 학습 데이터 역할을 하고 있기도 합니다. 무료로 애플리케이션을 사용하는데 따른 대가이기도 합니다. 

빅데이터를 개인의 영역으로 끌고 들어오면 많은 양의 정보를 접하고 축적하는 과정이 필요함을 의미합니다. 나의 데이터베이스가 빅데이터로 차곡차곡 채워져 있어야 맥락을 잡는 요점을 끌어낼 수 있습니다. 빅데이터를 가지고 있는 자만이 데이터를 요리할 수 있고 결과물도 낼 수 있습니다. 나의 데이터베이스가 채워져 있지 않으면 얼기설기 엮은 형상만 보여줄 뿐입니다. 그나마 형상도 제대로 보여주지 못하니 어려울 수밖에 없습니다. 어렵게 설명을 하는 사람일수록 본질을 못 읽은 경우가 많습니다. 현안에 대한 충분한 이해가 없었기에 타인을 설득할 수 없게 됩니다. 자신의 데이터베이스가 비어있기 때문입니다. 

그래서 나의 데이터베이스를 빅데이터로 만드는 일이 중요합니다. 한 지식의 깊이에만 몰두할 것이 아니고 다른 분야의 지식도 섭렵하여 융합하는 능력을 키워야 진정한 지식의 깊이를 알 수 있게 됩니다. 다원화된 사회에서 한 가지 일에만 집중해도 성공할까 말까 한다고요? 그럴 수도 있습니다. 하지만 지식의 데이터베이스는 빅데이터가 맞습니다. 빅데이터에서 창의성이 나옵니다. 창의성은 없는 것을 새롭게 만들어내는 것이라기보다는 있는 것을 융합하여 새로운 개념으로 조합할 때 더 효율적이 됩니다. 지식의 주변부를 넓히면 내가 보고자 하는 관심의 맥을 쉽게 잡을 수 있습니다. 지식의 편식은 확증편향만 키울 뿐입니다. 다소 생소해 보이는 분야로부터 접하게 되는 관점이 내 분야의 시야를 바꿀 확률이 더 높습니다. 세상을 사는 삶 자체가 공진화의 융합이듯이 가상의 지식세계에서도 융합이 진실에 다가서는 열쇠가 아닌가 합니다.