빅데이터
‘빅데이터(Big Data)’라는 말이 정확히 어디서 시작됐는지는 의견이 갈린다. 다만 한 가지 유력한 이야기는 이렇다. 1990년대 인터넷 사용이 급격히 늘면서, 컴퓨터가 감당해야 할 데이터 양도 폭발적으로 증가했다. 1997년 NASA 과학자들이 한 논문에서 이런 상황을 ‘Big Data Problem’이라고 부르기 시작했고, 여기서 지금 우리가 아는 ‘빅데이터’라는 용어가 본격적으로 등장했다는 것이다.
빅데이터라는 용어와 중요성은 2011년 이후 공개적으로 많이 언급되기 시작했고, 세계경제포럼(World Economic Forum, WEF)이 전 세계적으로 주요한 사회적, 경제적, 환경적 영향을 미칠 것으로 예상하는 기술 트렌드를 소개한 ‘The top 10 emerging technologies for 2012(2012년 10대 유망 기술)’에서 글로벌 과제 해결에 가장 큰 첫 번째 미래 기술을 ‘빅데이터’로 선정했다.
WEF는 ‘정보에 가치를 더하는 기술’을 첫 번째 유망 기술로 꼽았다. 이제 개인과 조직이 다루는 정보의 양은 인류 역사상 한 번도 경험해 보지 못한 수준에 이르렀고, 만들어지는 속도 역시 기하급수적으로 빨라지고 있다는 것이다.
그런데 문제는, 정보가 많다고 해서 저절로 가치가 생기지는 않는다는 것이다. 오히려 중요한 것과 중요하지 않은 것이 뒤섞여 ‘잡음(noise)’이 되어 버릴 위험이 크다. 그래서 WEF는 “정보를 어떻게 잘 골라내고, 정리하고, 뽑아 쓰느냐”를 앞으로의 핵심 과제로 보고 있다. 급증하는 데이터를 그냥 쌓아 두는 것이 아니라, 현실의 문제를 푸는 데 쓸 수 있는 정보로 바꾸는 능력이 중요하다는 뜻이다.
조금 더 풀어서 정리해 보면, 빅데이터가 중요한 이유는 크게 네 가지 정도로 나눠 볼 수 있다.
첫 번째는 정보량이 폭발적으로 늘었다는 점이다. 이제 개인과 조직이 다루는 정보의 양은 예전과 비교할 수 없을 만큼 많아졌고, 만들어지는 속도 역시 엄청나게 빨라졌다. 예전에는 “정보가 부족해서” 문제가 되는 일이 많았다면, 지금은 오히려 정보가 너무 많아서 문제다. 이 가운데 정말 중요한 것만 골라내지 못하면, 데이터는 우리에게 도움을 주기보다 오히려 ‘잡음(noise)’이 되어 버린다.
두 번째는 데이터는 ‘쌓아 두는 것’이 아니라 ‘결정을 내리는 데 쓰는 것’이라는 인식이 강해지고 있다. 다시 말해, 데이터에서 시작해 의사결정으로 이어지는 흐름(data to decision)이 중요해진 것이다. 쌓이는 숫자들이 실제 정책, 비즈니스, 사회문제 해결에 연결되지 않는다면 아무 소용이 없다. 그래서 데이터를 어떻게 조직하고, 발굴하고(mining), 처리(processing)해서 현실의 선택과 행동으로 이어지게 할지에 관심이 쏠리고 있다.
세 번째는 이 분야는 혁신의 여지가 매우 크고, 영향이 닿는 범위도 넓다는 점이다. 검색 기술, 인공지능(AI), 데이터 분석, 저장 및 처리 인프라 같은 기술은 앞으로도 계속 진화할 수 있다. 그리고 그 기술들이 바꿔 놓을 수 있는 영역도 다양하다. 헬스케어, 농업, 기후 변화 대응, 도시 관리 등 거의 모든 분야에서 ‘데이터를 어떻게 쓰느냐’가 성패를 가르는 요소가 되어 가고 있다.
네 번째는 좋은 데이터와 나쁜 데이터를 가려내는 능력이 중요해졌다는 것이다. 정보가 많아지는 것이 무조건 좋은 것만은 아니다. 불완전하거나 왜곡된 정보는 쉽게 ‘노이즈’가 될 수 있고, 잘못된 결정을 부추길 수도 있다. 그래서 지금 필요한 것은 ‘데이터를 많이 모으는 기술’만이 아니라, 쓸모 있는 정보를 골라내고, 걸러내고, 정리하는 능력이다.
이 모든 변화 뒤에는 시대적인 배경도 깔려 있다. 인터넷과 스마트폰, 센서 기술의 발달로 우리의 일상은 끊임없이 데이터를 생산하는 환경이 되었고, 세계화와 연결성 증가는 그 데이터를 전 세계로 흐르게 했다. 동시에 정치와 행정, 기업과 시민사회에서는 예전보다 더 높은 수준의 투명성, 효율성, 책임 있는 결정을 요구하고 있다. 그러다 보니 “느낌”이 아니라 데이터에 근거한 설명과 선택이 점점 더 중요해지고 있다.