빅데이터, 이제는 유행 지난 거 아니야?
빅데이터 유행 전망
바둑 두는 인공지능인 알파고는 인공지능이라는 존재 자체의 엄청난 유행을 이끌기 시작했다. 실제로 빅데이터와 인공지능의 연구가 깊게 이루어진 것은 더 과거의 시점이라고 보는 것이 맞지만, 2016년 이세돌 9단과의 바둑 대결 이후로 인공지능에 관심이 쏟아지게 되었다는 것은 그 누구도 부정할 수 없다. 그리고 인공지능이 조명을 받으면서 자연스럽게 유행의 물결을 타게 된 존재가 바로 빅데이터이다. 이세돌 9단을 이긴 충격적인 성능의 인공지능이 모두 빅데이터를 기반으로 알고리즘이 꾸려져 있기 때문이다. 사실상 이때부터 빅데이터의 대유행이 시작되었다고 보아도 무방하다. (https://brunch.co.kr/@8d1b089f514b4d5/7)
빅데이터, 이제는 유행이 지난 것 아니야?
어느덧 빅데이터가 집중적으로 유행을 타기 시작한 지도 어느덧 6~7년의 시간이 지났다. 길다면 긴 시간이 지난 만큼 빅데이터 업계에서도 많은 변화가 있었다. 빅데이터 유행을 타기 시작할 무렵 많은 학교에서는 빅데이터 관련 커리큘럼을 만들어 관련 교육을 진행할 수 있도록 환경을 만드는데 집중했고, 각 산업 내의 기업에서는 빅데이터 전문가들을 영입하기 위해 발 빠르게 움직였다. 아직까지도 새로운 인공지능에 대한 연구는 활발하게 이루어지고 있으며, 데이터를 분석하고 인공지능 모델링을 수행할 수 있는 인재를 영입하는 것은 많은 회사들의 주요 니즈이기도 하다.
하지만 빅데이터에 대한 유행이 마냥 상승세를 유지한 것은 아니었다. 각종 매체에서 빅데이터를 언급하는 횟수는 현저히 줄어들었다. 이제는 더 이상 빅데이터가 보고서를 통과시키는 마법의 단어로 통용되지도 않게 되었다. 무조건 빅데이터를 강조하며 모든 의사결정을 진행하는 것에 반감을 두고 빅데이터 거품론을 등장하는 사람도 생겼으며, 수많은 빅데이터 관련 인재를 무차별하게 영입하는 IT 회사들의 미래를 걱정하는 사람들도 생겼다. 그렇기에 지금 시점에서 빅데이터가 정말 유행을 지난 것인지 아닌지에 대해 답변을 해보는 것은 의미 있는 일이 될 수 있다.
유행이 지났다면 지났습니다. 하지만 그 중요성은 떨어지지 않았습니다.
한 가지 분명히 말할 수 있는 점은 현재 시점을 기준으로, 빅데이터 유행이 지났다고 인식을 하고자 하면 얼마든 그렇게 해석할 수 있는 여지가 충분하다는 것이다. 많은 사람들이 빅데이터에 대해 무지하여 빅데이터 분석을 했다고 하면 그 결과를 무조건적으로 신뢰하던 과거와는 다르다. 업무를 위해 빅데이터를 분석하면 과연 그 분석 결과가 정말 신뢰할 수 있는 내용인지, 이를 적용했을 때 어떤 효용을 얻을 수 있는지를 면밀하게 따지게 되었다. 단순히 빅데이터를 사용했기 때문에 모든 보고서가 통과되는 마법 같은 일은 더 이상 일어나지 않으며, 언론에서 무조건적으로 빅데이터를 강조하는 추세도 분명히 꺾였다고 볼 수 있다.
이렇듯 빅데이터의 유행이 잦아들었다면 그렇다고 볼 수는 있지만, 빅데이터의 본질과 그 중요성은 절대 사라지지 않았다. 2016년부터 빅데이터가 특히 강조되고 유행을 타기 시작한 이유는 크게 두 가지로 볼 수 있다. 첫 번째는 빅데이터가 그 자체로 인공지능 모델 생성의 중요한 재료가 되기 때문이며, 두 번째로는 기존의 스몰 데이터를 분석했을 때 보다 데이터의 양 자체를 늘려 분석 결과의 신뢰도를 더욱 높여주었기 때문이다. 아무리 유행이 지난 들 빅데이터의 본질적 장점이라고 볼 수 있는 이 두 가지 측면은 절대 사라지지 않는다. 그렇기에 빅데이터 유행은 비록 지날지언정 빅데이터가 강조되지 않는 사회로 변할 것이라는 기대는 하지 않는 것이 타당하다.
이름만 바뀌어가며 빅데이터는 그대로 살아있을 겁니다.
사실 빅데이터 유행이 시작된 이후에도 빅데이터라는 용어의 적합성에는 정말 설왕설래가 많았다. 빅데이터라는 하나의 용어를 사용하기는 하지만 그 안에는 너무도 많은 영역들이 포함되어 있기 때문이다. 컴퓨팅 적으로 인공지능을 구현하는 것, 비즈니스 적으로 필요한 정보를 해석하고 의사결정에 도움을 주는 것, 통계 분석을 통해 기존 가설들을 검정하는 것 등이 모두 빅데이터라는 단어의 의미에 포함되었다. 그렇다 보니 실제로 똑같이 '빅데이터 하는 사람'이라고 할지라도 실제 그 사람들이 하는 업무는 모두 상이했으며 이는 현재의 시점에도 동일하게 적용이 되는 이야기다.
다만, 이러한 문제가 있기 때문에 빅데이터라는 용어의 적합성에 대한 의문은 지속적으로 품어져 왔으며 그에 따라 빅데이터를 통해 유의미한 일을 진행하는 것을 표현하는 단어가 조금씩 달라져왔다. 2016년 알파고 사태 직후에는 무조건 빅데이터라는 단어가 지속적으로 사용되었던 반면 그로부터 2~3년의 시간이 지난 시점에는 데이터 사이언스라는 용어가 유행을 타기 시작했다. 과학적 프로세스를 거쳐 데이터를 통해 분석을 진행한다는 이유 때문이다. 그러다가 최근에는 데이터 분석 혹은 머신러닝 엔지니어링이라는 용어가 유행을 타기 시작했다. 이는 모두 기존의 빅데이터라는 단어가 포괄하는 의미였지만 그 단어만 바뀌어 지속적으로 명맥을 유지해오고 있는 것이다.
빅데이터 분야는 조금 더 세분화되어 발전할 가능성이 높습니다.
가장 최근의 환경만을 놓고 보면 데이터 분석, 머신러닝 엔지니어링 혹은 MLOps라는 용어가 가장 트렌디한 상황이다. 그리고 이렇게 최근 유행이 되는 용어에는 하나의 공통점이 있다. 바로 데이터를 통해 얻고자 하는 목적과 그 활동의 본질에 맞추어 용어가 조금씩 변화해가고 있다는 점이다. 다시 말해, 기존에는 너무 넓고 포괄적인 의미를 지니고 있던 빅데이터라는 단어가 세분화되어가고 있다는 것이다. 최근 유행하는 데이터 분석, 머신러닝 엔지니어링이라는 단어만 살펴봐도 그렇다. 데이터 분석은 데이터를 통계적으로 분석해 인사이트를 도출하는 것이 주요 목적이며, 머신러닝 엔지니어링은 빅데이터를 기반으로 머신러닝 모델을 구현하는 것을 주된 목적으로 한다.
앞서 말했듯 빅데이터라는 단어가 포괄하고 있는 의미는 매우 폭넓다. 그렇기에 최근에는 데이터 엔지니어링, 데이터 사이언스, 데이터 분석, 머신러닝 엔지니어링 등 그 목적에 따라 모든 빅데이터 활동이 세분화되어 가고 있다. 따라서 언론이나 인터넷 상에서 '빅데이터'라는 단어가 등장하는 빈도가 줄어드는 것은 분명하지만, 빅데이터에서 세분화된 이 단어들의 등장을 모두 합친다면 절대 이 유행이 끝났다고 말을 할 수는 없을 것이다. 여기에 한 가지 분명한 점은, 데이터를 어디에 어떻게 활용할 수 있는가는 사람들의 아이디어에 따라 그 가능성이 무궁무진하다는 것이다. 그리고 사람들은 어디에든 새로운 이름을 붙이기 좋아한다. 이를 종합해보면, 복잡해 보이는 이 세분화된 이름들은 향후에도 지속적으로 등장할 확률이 높다.
언제 빅데이터의 중요성이 끝날지는 아무도 모릅니다.
결론적으로 빅데이터의 유행 자체는 잦아들었을지 몰라도 빅데이터가 여전히 우리 사회에서 중요하다는 것은 부정할 수 없다. 빅데이터의 본질은 여전히 우리 사회 속에서 꾸준히 적용되고 있으며, 우리가 사용하는 용어만 변경되고 세분화되고 있을 뿐이다. 다만, 여기서 빅데이터의 중요성 자체가 언제 끝날까라고 질문을 한다면 이에 대한 대답은 그 누구도 정확히 할 수 없다. 당장 2~3년 뒤에 이 중요도가 확 떨어질 수도 있고 어쩌면 인류가 멸망하기 전까지 빅데이터는 각종 산업에서 중요한 역할을 하고 있을지도 모른다. 그래도 빅데이터를 대체하거나 생략할 수 있는 새롭고 혁명적인 기술이 발전하기 전까지는 빅데이터가 계속 활용되고 있을 확률이 높다.
유행이라는 것을 어떻게 정의하느냐에 따라 빅데이터 유행은 이미 끝났다고도 볼 수 있다. 하지만 다른 이름과 세분화된 영역으로 빅데이터는 그 명맥을 분명히 유지하고 있다. 이를 고려했을 때, 빅데이터의 유행이 시작된 이래로 지금까지 빅데이터의 역할은 지속적으로 커져왔으며 지금도 빅데이터가 대체하고 있는 기존의 업무는 점차 많아져가고 있다. 빅데이터를 포함해서 산업의 트렌드를 보는 것은 분명 중요한 일이다. 하지만 그 트렌드와는 별개로 각 시스템의 본질과 역할을 꿰뚫는 것도 분명 중요하다. 빅데이터는 어느덧 하나의 트렌드에서 본질로 변해가고 있다고 보는 것이 가장 정확한 설명일 듯하다.
