1. 프롤로그

4차 산업혁명과 빅데이터

 요즘 뉴스 및 미디어 매체 등에서 4차 산업 혁명에 대한 이야기를 들어봤을 것이다. 4차 산업 혁명은 기존의 산업혁명과 다른 방식으로 물리공간과 가상공간의 결합, 즉 CPS(Cyber-Physical-System)에서 기술의 발전으로 기존에 볼 수 없던 새로운 형태의 비즈니스가 등장해, 사회, 문화, 경제 전반에 영향을 끼치고 있다.

 그리고 4차 산업혁명을 이끄는 빅데이터, 인공지능, IOT(Internet Of Things, 사물 인터넷), 스마트 팩토리, 자율주행, 클라우드 컴퓨팅과 같은 기술이 있는데, 이 중에서 가장 중요한 핵심적 기술은 바로 빅데이터 기술이다. 4차 산업혁명 신기술의 대부분이 빅데이터기술을 기반으로 구성되어 있기 때문이다. 그럼 빅데이터란 무엇일까? 그리고 이 빅데이터라는 기술을 왜 이렇게 중요하다고 강조하는 것일까? 이것은 4차 산업 시대에서 데이터가 갖는 가치와 인사이트(insight) 때문일 것이다. 

 기존에는 실무에서 데이터를 볼 때, 보통 엑셀형태의 데이터를 분석했다. 이를 정형데이터(Structure Data)라고 부른다. 그리고 보통 해당 부서의 데이터만 분석하는 형태로 진행되었다. 따라서 일별 또는 주별, 월별 데이터를 받아 부서에서 확인하고자 하는 지표의 트렌드를 확인하고 현재 프로세스에 문제가 없는지 확인하는 정도로 분석이 진행되었다. 

  그러나 현재는 어마어마한 양의 데이터가 데이터 베이스라는 곳에 모여, 여러 부서의 데이터를 한꺼번에 가져와 분석할 수 있게 되었다. 그리고 기존의 사용하던 표 형태의 정형데이터가 아닌 이미지, 영상, 소리, 자연어와 같은 비정형 데이터(Unstructured Data)들을 수집하고 처리할 수 있는 기술이 생기게 되었다. 이에 여러 분야와 다양한 종류의 데이터가 하나로 결합되면서, 기존에 볼 수 없는 새로운 가치를 찾아내는 형태의 비즈니스 인사이트를 찾을 수 있게 되었다. 특히 공공데이터가 온라인에 오픈되면서, 유통 관련 데이터를 기상데이터와 연결시키거나, 판매데이터를 상권데이터와 연결시키는 등, 실무에 발생하는 데이터와 공공기관에서 수집한 데이터를 결합하는 형태로 분석하여 인사이트를 찾는 사례가 많아지고 있다. 

 빅데이터란 앞의 설명과 같이 기존과 다른 엄청난 크기의 데이터와 비정형 데이터를 포함한 다양한 형태의 데이터를 뜻하며, 이를 처리하는 IT 기술들의 집합이라 볼 수 있다. 그리고 이러한 빅데이터를 처리하기 위해서는 컴퓨터를 이용해 처리해야 하며, 데이터 분석을 하기 위해 컴퓨터의 언어를 익히는 것은 필수 역량이 되어 버렸다. 이러한 트렌드에서 우리가 꼭 알아야 할 데이터에 대한 이해와 데이터 분석에 필요한 컴퓨터 언어에 대하여 알아보도록 하자. 

관련 재생 목록 : https://youtube.com/playlist?list=PLhdHuKlSngGz4SjNyGsm6M4P_-kR4HNIQ