[생각]#7. BIG DATA... 중요한가?
빅데이터에 대한 짧은 고찰
요즘 정말이지 빅데이터라는 말은 여기저기서 많이 언급되고 있다.
금년도 대선에서 각 후보들은 4차 산업 혁명의 중요성을 입에 달고 다녔고 이에 대한 공약을 다양하게 제시하였을 정도로 그 중요성에 이견을 제시하기는 어려워졌다. 점점 시대가 바뀌면서 과거 엘빈 토플러의 제3의 물결 속 정보화시대 조차 이제는 과거 산업 혁명이나 농업 혁명 같은 단순 옛날 얘기로 치부되고 있는 듯한 느낌이다. 정보화 사회로 접어들면서 정보기술의 중요성을 언급하여 정보가 가지는 힘과 중요성을 거론하였지만 그 또한 이렇게 방대한 양의 정보들을 다뤄야 할 줄 알았을까?라는 생각이 든다.
BIG DATA, 내가 아는 한 빅 데이터라고 하면 말 그대로 방대한 양의 데이터이다.
그러면서 직관적으로 BIG DATA를
어떻게 사용해야 할지,
어떻게 목적에 맞게 원하는 방향으로 정보를 추출할 것인지
어떻게 하면 그 정보의 신뢰성이 높일 수 있을지
어떻게 그러한 정보들을 적재적소에 사용하고 부가가치를 창출할 수 있을 것인지
중요하겠다는 감 정도는 온다.
BIG DATA, DATA MINING, DEEP LEARNING, MACHINE LEARNING etc 등 다양한 용어들이 나오며 이를 다루는 분야가 요새 뜨거운 감자가 되고 있다. 크게 정보 관련 전문가들을 3 부류로 나누는 모양이다. 내 나름대로 스스로 이해하기 위하여 제조업 분야에 빚 대어서 정의를 내려본다.
l DATA ENGINEER -> 실제로 제품을 설계하고 만들어내는 엔지니어
l DATA ANALYST -> 만들어 놓은 제품을 분석, 검증하 고품질을 높이려는 품질부서
l DATA SIENTIST -> 보다 양질의 제품을 만들거나 보다 확실하고 유용한 검증 및 개선 프로세스를 만들어가는 선행 조직
세 부류에 대한 도식도많은 기업에서 Big Data를 통한 부가가치 산업을 창출해 내고자 열을 올리고 있는 추세이다. 세계적인 기업 델은 자신들의 모든 기반 시설과 IT 인프라 등을 모두 통합한 하나의 단일 인프라를 구축하여 이를 직접 제품 운영에 반영을 하고 있다. 다양한 정보를 하나로 운영하여 보다 더 빠르고 적적하게 소비자 맞춤형으로 서비스를 제공하고, 자체적으로는 효율적인 Supply Chain 구축 및 신속한 의사결정을 도와준다.
포드 자동차는 글로벌 운영의 모든 측면을 데이터화하여 관리 및 이용하며, 특히 품질과 부품 추적 및 소비자 만족도를 최우선으로 하고 있다. 자동차에서 어떤 일이 벌어지는지 파악하기 위하여 차량에 들어가는 수십만 가지의 부품, 품질, 하자, 소비자 정보, 금융 서비스 등에 관한 정보를 전사적으로 수집 중에 있다. 당장에 데이터 수집은 전체적인 차량 라인업 측면이나 영업 이익적인 측면으로 봤을 때는 손해가 있을 수 있겠지만 이런 소비자들이 알게 모르게 제공해주고 있는 데이터를 기반으로 엔지니어들은(혹은 현상파악을 주로 하는 분석가들) 문제에 대한 재발 방지, 사전에 문제 가능성 점검 및 해결 방안 반영 혹은 잠재적 리스크 파악까지도 가능하겠다. 이런 시스템은 품질 면에서 경쟁력 우위를 제공할 수 있다. 데이터 분석을 통한 소비자들의 행동 패턴 혹은 의사결정의 과정들은 품질 차원에서 하나의 핵심적인 자산이 되는 셈이다.
기업들의 요지는 더 많이 알수록, 더 많은 것을 할 수 있다. 더 많은 것을 하면 더 많은 이윤을 창출할 수 있고 그 속에서 더 많은 정보를 추가적으로 수집이 가능하다고 보인다.
이런 데이터의 중요성을 가장 잘 알고 옛날부터 이용하는 기업은 단연 구글이 최고 일 것이다. 또한 초기의 대부분 서비스들이(검색, 지도, 일정관리, 각종 비교 tool) 일반 사용자에게는 거의 무료라는 느낌이 들 정도이지만 사실 사용자는 돈이 나가지 않을 뿐, 본인의 개인정보 및 행동 패턴, 사고 패턴이 일정 부분 지속적으로 노출되고 있는 것이다.
미래를 예측하고,
상대방의 의중을 파악하고,
소비자가 원하는 것을 파악하는 것은
모든 산업이 항상 고민하고 있는 사안일 것이다. 과거에는 이를 직관과 통찰력, 경험 등에 의존했다고 하면 지금은 상당히 객관적이고 분석적인 지표와 결과물에 의거하여 의사결정을 내리게 되겠다.
물론 가끔은 직관과 통찰력이 데이터보다 더 중요한 판단을 내리는 경우도 배제할 수는 없을 것이다.
