빅데이터, 갑자기 발전한 계기가 뭐야?
빅데이터의 발전 배경
빅데이터를 분석하고 확보하려는 움직임이 점차 당연해지고 있다. 살다 보니 어느덧 빅데이터라는 단어가 당연해지고 이를 활용하려는 노력이 당연해지게 된 것이다. 하지만 시간을 조금만 돌이켜보면 지금과는 전혀 양상이 달랐다. 빅데이터는 물론이거니와 데이터 자체를 강조하는 분위기가 아니었다. 때문에 간혹 가다 빅데이터가 갑자기 왜 이렇게 강조되고 있는지, 또 대체 무슨 일이 있었길래 빅데이터라는 분야가 이렇게 발전하게 된 건지 궁금함을 가지는 사람들이 있다. 빅데이터를 비롯한 데이터 영역의 전반적인 이해를 높이기 위해 상당히 중요한 질문이라 할 수 있다.
빅데이터, 갑자기 왜 이렇게 발전하게 된 거지?
데이터라는 개념은 요 근래 갑자기 생긴 것이 아니다. 적어도 통계학에서는 늘 데이터를 다루어왔다. 동시에 빅데이터라는 단어가 등장하고 갑자기 빅데이터의 중요성이 높아지기 시작한 것 역시 부정할 수 없는 사실이다. 별다른 생각 없이 빅데이터가 대두되고 있는 이 현상을 받아들이려면 얼마든 그럴 수 있지만, 등장 배경을 살펴보고 이해하는 것은 매우 중요하다. 이를 정확히 이해해야 발전 현황, 발전 방향성, 현상의 한계 및 미래를 더욱 정확히 파악할 수 있기 때문이다. 그리고 빅데이터가 발전하게 된 배경은 직관적으로 이해하기에 그렇게 어렵지 않기도 하다.
여러 원인이 복합적으로 작용한 거라고 볼 수 있습니다.
우선 빅데이터가 지금 수준으로 발전하게 된 것은 여러 요인이 있다. 특정한 사건이나 이슈가 있는 것은 아니다. 가장 중요한 것은 IT 기술의 발전이다. 스마트폰을 사람들이 많이 이용하게 되었고, 데이터 저장장치의 성능은 점차 향상되었다. 그리고 인공지능의 핵심 기술로 머신러닝이 작용하기도 하였다. 이 모든 IT 기술들의 발전이 전부 빅데이터와 연관이 있다. 결론적으로 빅데이터의 발전 배경은 딱 하나의 단어나 문장으로는 설명할 수 없다. 하지만 몇몇 개의 키워드로는 이를 설명할 수 있다. 그것이 바로 앞서 언급한 스마트폰, 데이터 저장장치, 머신러닝이다.
스마트폰의 확산은 어마어마한 데이터 생산으로 연결되었습니다.
빅데이터가 강조된 배경의 가장 근본적인 이유는 스마트폰의 확산이다. 조금 더 포괄적으로 말하면 스마트폰뿐 아니라 PC 시스템이 발전된 것을 모두 포함한다. 이제는 사실상 모든 개개인이 스마트폰을 사용하고 있다. 스마트폰을 사용한다는 것은 모든 사람들이 전화를 할 수 있고, 문자를 보낼 수 있으며, 인터넷도 쉽게 접속할 수 있고 스마트폰 내 앱을 사용할 수 있다는 것을 의미한다. 언제 어디서든 쉽게 SNS에 접속하고 활동할 수 있으며 SNS뿐 아니라 특정 커뮤니티, 게임 등 다양한 활동을 할 수 있게 되었다. 이 모든 것은 데이터 생성 속도가 기하급수적으로 빨라지게 된다는 시사점으로 연결된다.
쉽게 말하면 누구나 스마트폰을 통해 데이터를 생산하게 되었다. '1분 동안 생성되는 데이터'정도로 인터넷 검색을 해보면 그 수준이 얼마나 어마어마한지 알 수 있다. 이는 이전과는 다르게 데이터가 아닌 빅데이터라는 용어를 사용하도록 사람들을 부추겼다. 여기에 더해 사람들의 모든 생활이 데이터화 되고 있기에 빅데이터 안에 특별한 가치가 숨어있다는 것을 사람들이 알게되었다. 하지만 누군가는 그 특별한 가치를 찾기 위해 데이터를 활용하여 이득을 취할 수 있지만 누군가는 그렇지 않다. 데이터가 방대하게 생성되는 것은 분명하다. 하지만 다음 문제는 이를 어떻게 저장하고 활용할지에 대한 것으로 넘어간다.
데이터 저장장치와 클라우드 서비스가 비약적으로 발전했습니다.
시간의 흐름은 데이터 저장 역량도 자연스럽게 끌어올렸다. 예전에야 CD, 플로피 디스크 등으로 불리는 저장장치에 작은 데이터를 일부 저장할 수 있을 뿐이었다. 하지만 지금은 이야기가 다르다. 훨씬 작아진 장치 안에 훨씬 더 많은 데이터를 저장할 수 있다. 페타바이트(PB), 엑사바이트(EB) 등 용량을 뜻하는 단위가 점점 더 커지고 있다. 이러한 하드웨어의 기술적 발전은 빅데이터 분야에는 엄청난 호재다. 스마트폰을 기반으로 무수히 생성되는 데이터들을 저장할 공간이 생겼다. 생성되는 데이터를 그대로 버리는 것이 아니라 일단 저장한 이후 필요에 따라 사용할 수 있는 환경이 만들어졌다.
심지어 클라우드 서비스까지 발전해 이 현상을 더욱 가속화시키고 있다. 눈에 보이는 저장장치에 데이터를 저장하는 것뿐 아니라 웹 상에 데이터를 저장할 수 있게 되었다. 어느 정도의 비용만 지불하면 내가 장치를 불필요하게 들고 다니지 않아도 어디서든 인터넷에만 접속하여 데이터를 불러올 수 있게 되었다. 이 이야기는 비단 저장장치에만 한정된 것은 아니다. 컴퓨팅 파워 자체 즉, RAM이나 CPU 혹은 GPU 등 우리가 컴퓨터를 구매할 때나 들었던 장치들을 클라우드 서비스를 통해 이용할 수 있게 되었다. 스마트폰을 기반으로 생성된 데이터를 저장하는 것이 너무나 쉬워졌다. 이제 마지막 단계는 이를 활용할 이유가 생겨야 한다는 것이다.
머신러닝이 인공지능의 핵심 분야로 자리 잡게 되었습니다.
사실 우리가 상상하는 방대한 양의 빅데이터를 통해 무언가 활용성을 불어넣고자 하는 것은 막막한 일이다. 하지만 머신러닝 기술이 인공지능 분야의 핵심으로 자리 잡으면서 빅데이터의 활용성마저 발전해버렸다. 머신러닝은 이전과는 차원이 다른 수준으로 인공지능을 발전시켰다. 여기서 중요한 점은 머신러닝이 빅데이터를 기반으로 작동된다는 것이다. 데이터가 없다면 머신러닝이 이루어질 수 없다. 더욱 자세한 설명은 이전 글에서 확인할 수 있다.(https://brunch.co.kr/@8d1b089f514b4d5/10) 빅데이터를 활용한다 생각하면 데이터 안에 숨어있는 특정한 현상을 파악하려는 것이 대표적이다. 하지만 머신러닝으로 인해 그 틀이 아예 달라졌다. 과거 현상 파악이 아닌 미래 예측 영역에 빅데이터가 발을 들이게 됐다.
정확한 미래 예측을 위해 인공지능 분야에서 머신러닝 기술을 사용하게 되다 보니 그 핵심 재료인 빅데이터에 대한 니즈가 더욱 높아졌다. 이제는 누구나 많은 양의 데이터를 확보하는데 많은 노력을 기울인다. 양질의 데이터를 대량으로 확보한다는 것 자체가 인공지능 구현의 필수조건이 되었기 때문이다. 물론 빅데이터를 활용하는 것은 비단 머신러닝에만 그치지는 않는다. 최근에는 다시 데이터 속에 숨어있는 패턴을 찾고 이를 시각화하여 인사이트를 얻는 것에 많은 관심을 기울이고 있다. 결국 IT 기술의 발전으로 원활히 생성되고 저장되는 데이터가 활용될 수 있는 영역까지 자연스레 확장되고 있는 것이다.
시간이 지나면 빅데이터의 중요성이 더 강조되지 않을까요?
생각해보면 스마트폰이 확산됨은 물론이고 스마트폰을 활용해 SNS나 커뮤니티를 이용하는 방식 자체가 근 시일 내에 사라질 것 같지는 않다. 데이터 저장장치와 클라우드 서비스 역시 마찬가지다. 이미 개발되어있는 데이터 저장장치와 클라우드 서비스의 성능이 더 안좋아질 일은 없을 것이며 발전할 일만 남았다. 그리고 이제는 인공지능을 구현함에 있어 빅데이터를 활용해 머신러닝, 딥러닝 학습 알고리즘을 구현하는 것이 정답으로 자리 잡았다. 많은 연구자들이 인공지능을 더욱 정밀하게 발전시키기 위해 여러 노력을 기울이고 있는데, 그 노력들은 전부 '데이터를 어떻게 활용할까?'에 초점이 맞추어져 있다.
결국 빅데이터를 사람들이 소중하게 인식하도록 한 주요 배경들은 적어도 당분간은 사라지지 않을 것이다. 그리고 어느덧 데이터를 확보하려는 전쟁이 불고 있다. 공공기관은 데이터를 개방하여 이를 민간에서도 활용하기를 바라고 있으며 산업에서는 사업을 위해 필요한 데이터를 조금이라도 더 확보하기 위해 모든 노력을 기울이고 있다. 결론적으로, 이미 빅데이터란 없으면 안 될 존재로 중요하게 인식되고 있으며 심지어 그 경향성이 앞으로 더욱 짙어질 확률이 높다. 데이터 홍수 속에서 데이터를 어디에, 어떻게 활용해야 하는가에 대한 올바른 능력을 가지는 것이 더 중요해질 가능성이 높다.
※ 평소 빅데이터/인공지능에 궁금한 점이 있어 답변을 원하는 내용이 있다면 공유해주시면 감사하겠습니다.
