4차 산업혁명 시대 핵심 자원 중 하나이자, 인공지능과 함께 가장 주목받고 있는 영역이 바로 '빅데이터'다.
빅데이터가 많은 양의 데이터를 말하고, 우리의 디지털 기록으로 분석하고 예측하고 추측한다는 정도로만 알고 있었다. 미래 지식에 대해 너무 막연한 게 아닌가 싶어서 조금 더 이해해보고자 공부를 했다.
빅데이터란 무엇인가.
네이버 지식백과에 의하면, 빅데이터란 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다.
데이터 자체는 새로운 게 아니지만, 언제부턴가 '빅데이터'라고 불리며 많은 사람의 관심을 받고 있다. 스마트폰, 인터넷, 컴퓨터, 수많은 센서 기술의 발전으로 4차 산업혁명 시대의 중요한 자원이 되었기 때문이다. 데이터와 빅데이터의 차이는 '데이터 양', '빠른 생성 속도', '다양성'이다. 지금 이 순간에도 다양한 분야에서 수많은 종류의 데이터가 엄청난 속도로 쌓이고 있다.
일상의 모든 것이 데이터가 되는 세상을 살고 있는 것이다. 교통카드와 신용카드 사용 내역부터, 네이버나 구글에 검색하는 단어, 휴대폰 위치 정보, 페이스북이나 인스타그램에서 누른 '좋아요'나 해시태그, 이메일과 문자 메시지, 의료 기록, 차량의 블랙박스나 내비게이션 기록, 곳곳에 설치되어 있는 CCTV까지. 우리의 일거수일투족이 디지털 기록으로 남는다.
이제 우리 주변에서 규모를 가늠할 수 없을 정도로 어마어마한 양의 정보와 데이터가 생산되는 '빅데이터 환경'이 된 것이다.
우리나라가 코로나 19 바이러스 역학조사에 따른 확진자 파악과 동선 공개 등 빠른 대처로 효과적인 대응을 할 수 있었던 것도 빅데이터가 있었기 때문에 가능했다.
현재 많은 기업에서도 빅데이터를 활용해 인사이트를 도출하고 있다. 기업이 빅데이터를 활용하면 고객의 행동을 미리 예측하고 대처방안을 마련할 수 있으므로, 좀 더 효율적이고 생산적이며 기업 경쟁력을 강화시킨다. 뿐만 아니라 직원들이 효과적으로 협력할 수 있는 방법을 알 수 있다. 결국 빅데이터 활용은 기업의 미래를 성공으로 이끄는 원동력이 된다.
세계적인 글로벌 대기업들은 모두 데이터를 사랑한다. 이미 구글, 애플, 아마존, 마이크로소프트, 페이스북, 넷플릭스 등. 거대 플랫폼을 앞세운 이들은 빅데이터를 무기로 패권을 장악해 나가고 있다.
세계 최대 검색 엔진 '구글'은 전 세계 사용자들의 검색 정보과 스마트폰 이용 데이터 등 우리의 데이터를 가장 많이 가지고 있는 회사 중 하나다. 소비자 입장에서 많은 정보가 일목요연하게 정리된다. 내 취향과 비슷하거나 내가 많이 본 영상들의 공통점을 머신러닝이 학습하여 유사한 수십 개의 콘텐츠 영상을 추천해주는 것이다.
'넷플릭스' 역시 빅데이터 강자다.
전 세계 유료 가입자 2억만 명 이상이 즐기고 있는 동영상 스트리밍 서비스 최강자 넷플릭스. 사용자의 취향을 정확히 파악해서 보고 싶은 영상을 추천해주는 알고리즘은 넷플릭스를 지금의 자리에 있게 해 준 일등공신이다. 또한 넷플릭스는 콘텐츠를 만들 때도 빅데이터를 활용했다. 미국 시장 안에서 구독자의 선호도를 철저히 분석하고, 기획부터 주인공 섭외, 배급까지 전반에 걸쳐 빅데이터 분석을 활용하고 있다.
이처럼 거대 플랫폼 기업에서 공공기관, 각종 연구소, 중소 마케팅 업체까지 이제 기업 비즈니스의 빅데이터 활용은 상식이 되었다. 이런 흐름을 타고 새롭게 떠오르는 직업이 바로 빅데이터 전문가다. 어느 기업, 어느 조직에서나 빅데이터의 쓰임이 커지면서 데이터를 다룰 수 있는 전문가에 대한 수요가 높아지고 있다.
책 <빅데이터 커리어 가이드북>에 의하면, 기업은 '빅데이터 기획'과 '빅데이터 실행'을 효율적으로 실행하기 위해 데이터를 변환•가공하는 '디지털 트랜스포메이션' 작업을 진행하는 동시에 데이터를 바탕으로 의사결정을 하는 데 필요한 인력을 채용하고 조직을 재정비하고 있다.
이 책에서는 이상적인 빅데이터팀의 업무 수행 방식을 고려해 빅데이터 직무를 '데이터 엔지니어', '데이터 애널리스트', '데이터 사이언티스트', '데이터 리서처', '데이터 기획자', '시티즌 데이터 사이언티스트'로 구분한다.
'데이터 엔지니어'는 조직 내 데이터의 운용을 담당한다.
'데이터 애널리스트'의 역할은 경영진을 비롯한 여러 이해관계자가 데이터를 올바르게 이해하고 데이터에서 가치를 발굴하도록 도와주는 것이다.
'데이터 사이언티스트'는 방대한 양의 데이터에 다양한 분석 기법을 적용함으로써 가치 있는 인사이트를 찾아내고 제공한다.
'데이터 리서처'는 데이터 분석을 위한 알고리즘을 개발한다.
'데이터 기획자'는 빅데이터 프로젝트를 계획, 운영 관리한다.
'시티즌 데이터 사이언티스트'는 본래의 주 업무가 있지만 빅데이터에 대한 관심을 바탕으로 자신의 능력과 영역을 확장시키는 인재를 말한다.
빅데이터의 중요성이 점점 더 강조되면서 다양한 영역에서 모든 빅데이터 직무가 필요해지고 있는 상황이다. 무엇보다 빅데이터 전문가에게는 비즈니스 현장의 문제를 인식하고 주어진 데이터로 어떻게 비즈니스 문제를 풀 것인가 고민하는 능력이 가장 필요하다.
빅데이터 위상은 날로 높아져 가고 있고, 대기업뿐 아니라 중소기업, 스타트업, 공기업, 준정부기관에서도 빅데이터 관련 인력들을 원하고 있다. 관심 있는 분들은 이 흐름을 타고 도전해 보시기를.
데이터가 폭발하는 거대한 변화의 소용돌이 속에서 우리는 어떻게 살아갈 것인가를 고민해보지 않을 수 없다. 빅데이터가 그려내는 우리의 미래는 어떻게 될까?
빅데이터는 '미래 정보 사회의 원유'라고 불릴 만큼, 우리 삶에서 중요한 자원이 되었다. 의료, 농업, 산업, 가상현실, 인공지능, 스포츠, 자동화, 범죄 수사, 경제, 마케팅 등 미래의 유망 분야 중 빅데이터와 결합하지 않은 분야가 없을 정도로 다양한 산업 영역에서 활약할 것으로 보인다.
이처럼 빅데이터 활용 영역은 무궁무진하다.
이 엄청난 데이터를 활용한 기술과 분야가 새롭게 탄생하고 있어서, 미래에는 우리가 그려보지 못했던 일들이 펼쳐질지도 모른다.
앞으로 인공지능이 우리 삶에 커다란 변화를 가져올 거라고 모두가 예상하고 있을 텐데, 이 인공지능을 구현하는 데 필수적인 게 바로 빅데이터다. 인공지능은 빅데이터를 통한 학습을 필요로 하기 때문에, 이 둘은 뗄 수 없는 관계다. 4차 산업혁명 시대에 인공지능과 빅데이터는 중요한 역할을 하게 될 것이다. 따라서 데이터를 수집해 그 안에서 새로운 가치를 발견하고 분석하는 능력은 다가올 미래 사회를 대비하는 필수 조건이다.
기술의 진보에는 언제나 득과 실이 함께하는 법.
데이터가 되는 개개인의 정보가 유출되거나 악용될 여지도 크다. 개인의 사생활은 보호될 수 있는가? 누군가에 의해 침해되고 조종되지는 않을지 불안하고 두려운 마음도 든다. 개인정보는 보안 정책과 법을 다듬는 것으로 보호할 수 있어야 할 것이다.
또한 빅데이터와 인공지능에 지나치게 모든 것을 의존한다면 결국 우리는 퇴화할지도 모른다. 이런 미래는 피해야 하지 않을까.
"엄청나게 생산되는 빅데이터를 통찰력 있게 걸러 내고 받아들이는 능력이 미래 사회에는 반드시 필요하며 이러한 능력이야말로 미래 인재의 필수 소양이 될 것이다."
이제는 누구나 빅데이터를 활용할 수 있다.
빅데이터가 가져올 변화를 피할 수 없는 미래에서 빅데이터를 활용해 어떤 문제를 해결하고 싶은지 고민하는 것도 필요하다고 본다. 대한민국 최고의 데이터 마이닝 전문가 조성준 교수의 말처럼,
"무엇보다 내가 만든 데이터에 대해서는 나도 권리가 있다는 주인의식을 가져야 하고, 나에게 그런 권리가 주어졌을 때 그걸 어떻게 사용할지에 대한 판단을 할 수 있어야 한다."
