by
Mar 24. 2021
빅데이터랑 인공지능이랑 무슨관계인 거야?
빅데이터, 인공지능의 공생관계
빅데이터 분석에 빠질 수 없는 부분이 인공지능이고, 인공지능에 빠질 수 없는 부분이 빅데이터다. 그렇다 보니 빅데이터와 인공지능을 한데 묶어 표현하는 경우도 대단히 많다. 그래서 빅데이터를 공부하고자 하는 사람들도 인공지능을 자연스레 공부하게 되는 경우가 많고, 인공지능을 공부하는 사람들도 빅데이터를 공부하게 되는 상황이 많다. 나 역시 빅데이터와 인공지능은 떼고 싶어도 뗄 수 없는 관계임에 동의하기에 사실 빅데이터와 인공지능을 완벽히 나누어서 이야기하는 것을 별로 좋아하지는 않는다. 하지만 빅데이터와 인공지능이라는 용어를 합쳐서 많이 쓰게 되면서 일반 사람들 입장에선 궁금증을 가질 수 있다.
대체 빅데이터랑 인공지능은 무슨 관계인 거야?
사실 이런 질문을 하는 사람들은 꽤 수준이 높은 사람들이라 생각한다. 어느샌가부터 빅데이터와 인공지능이 함께 묶여 자주 표현되고 있어 그냥 넘어갈 수도 있는데 이 두 가지의 개념을 명확히 파악하기 위한 의도가 깔려있다고 보기 때문이다. 사실 단어만 놓고 보면 빅데이터는 대용량의 데이터를 의미하고 인공지능은 기계에게 인간의 지능을 구현하는 것을 의미한다. 그렇기에 원래 단어가 가지고 있는 뜻만 가지고 보면 이 둘은 전혀 상관이 없는 것처럼 보일 수도 있다.
악어와 악어새 사이의 관계라고나 할까요..?
실제로 과거에만 한정시킨다면 데이터 분석과 인공지능은 그렇게 크게 연관 있는 사이가 아니다. 하지만 어느 순간부터, 특히 2010년대부터 인공지능 붐이 발생한 이후로는 빅데이터와 인공지능은 매우 밀접한 사이가 되었다. 빅데이터 분석에 인공지능 기술을 도입하여 빅데이터의 활용성을 엄청나게 높여주었고, 인공지능 구현에 빅데이터를 이용하여 그 정확도를 폭발적으로 증가시켰다. 그래서 사실상 이 둘의 관계는 악어와 악어새처럼 공생 관계라고 보면 된다. 만약에 이 세상에 존재하는 모든 데이터가 갑자기 사라지거나, 인공지능 기술이 갑자기 삭제되면 빅데이터 분야와 인공지능 분야 모두 지금의 기능을 절대 하지 못할 것이다.
먼저, 빅데이터 분야를 살펴보면 데이터 분석은 크게 세 가지의 단계로 나누어서 볼 수 있다. 1. Descriptive Analytics 2. Predictive Analytics 3. Prescriptive Analytics이다. Descriptive Analytics 즉 서술적 분석이란 데이터로 지금 일어나는 현상을 설명하는데 초점을 맞추는 영역이다. SNS에 올라오는 글들을 수집하여 최근 많이 언급되고 있는 단어가 무엇인지 파악하고 이를 통해 현 트렌드를 분석하는 것이 대표적인 서술적 분석의 예다. 그리고 Predictive Analytics는 예측 분석을 의미한다. 특정한 경우에 대해 데이터를 바탕으로 예측하는 일이다. 이메일이 왔을 경우 해당 텍스트를 분석해서 알아서 스팸메일인지 아닌지 예측하여 구별해주는 것이 대표적인 사례이다.
인공지능 기술인 머신러닝은 사실상 예측 분석의 전부입니다.
이렇게 예측 분석을 할 때 인공지능 기술이 정말 많이 적용된다. 그리고 인공지능 기술 중에서도 머신러닝 기술이 매우 중요하다. 인공지능과 머신러닝, 딥러닝의 포함 관계는 https://brunch.co.kr/@8d1b089f514b4d5/2 글을 참고하기 바란다. 사실상 빅데이터로 예측 분석을 할 때 쓰이는 기술은 머신러닝 기술이 전부라고 봐도 무방하다. 그리고 또 하나 중요한 사실은 빅데이터 분석을 함에 있어서 Descriptive Analytics, Predictive Analytics, Prescriptive Analytics로 분석의 종류를 나누어볼 수는 있지만 빅데이터 분석하면 떠오르는 많은 수의 사례는 예측 분석이 대부분이다. 예측 분석이 빅데이터 분석의 꽃이라고나 할까.
그렇기에 빅데이터 분석에서 가장 많은 부분을 차지하고 있는 예측 분석, 그리고 그러한 예측 분석 안에서 절대 없어서는 안 될 기술로 머신러닝, 즉 인공지능 기술이 존재하고 있는 것이다. 개인적으로 서술적 분석의 중요성을 매우 높게 평가하고 있지만 이것은 나의 주관적인 의견이고 빅데이터 분석 업종에 종사하는 많은 수의 사람들이 예측 분석의 중요성을 높게 평가하고 있다. 그리고 빅데이터, 데이터 분석을 강의하는 많고 많은 업체나 학교에서의 수업 역시 예측 분석이 대부분을 차지하고 있다. 사실상 인공지능 기술인 머신러닝을 알려주는 수업들이라고 보면 된다.
빅데이터 분석 종류의 마지막으로 Prescriptive Analytics가 있다. 서술적 분석을 통해 현재가 어떠한지에 대해 분석을 하고 예측적 분석을 통해 미래 무슨 일이 일어날지 사전에 파악한다면 처방적 분석에서는 그래서 우리가 무엇을 해야 하는지를 분석한다. 책 판매 업체나 음악 스트리밍 사이트에서 상품을 추천하는 것이 대표적인 사례이다. 사실 우리가 무엇을 해야 하는가 까지도 데이터 분석으로 결론을 내면 좋겠지만 이게 말처럼 쉽지 않아서 사실상 처방적 분석의 대부분은 추천 시스템의 내용이다. 그리고 추천 시스템에서 역시 딥러닝 기술이 매우 중요해지고 있다. 그리고 기억하겠지만 딥러닝 기술도 인공지능 기술이다. 결국 빅데이터 분석에서 매우 많은 부분이 인공지능 기술을 그 원동력으로 하고 있음을 알 수 있다.
데이터가 없으면 구현되는 인공지능 정확도가 확 떨어질 거예요.
다음으로 인공지능 관점에서 빅데이터가 어떻게 작용하는지 보도록 하겠다. 나중에 자세히 다룰 생각이지만 인공지능이 사회에서 중요한 기술로 급부상하게 된 것은 빅데이터의 역할이 크다. 인간과 같은 지능을 구현하려는 노력은 생각보다 과거부터 존재했다. 하지만 우리가 생각한 것처럼 인간 수준의 지능을 구현하기에는 사실상 무리가 있었다. 이 와중에 인공지능을 발전시킬 수 있는 새로운 방법으로 떠오른 것이 빅데이터를 이용하는 것이다.
다양한 인공지능 방법론 중 현재의 인공지능을 존재하게 한 것은 바로 머신러닝이다. 말 그대로 기계가 직접 학습을 할 수 있도록 설정한다는 것이다. 머신러닝을 이용한 인공지능과 그렇지 않은 과거의 인공지능을 비교했을 때, 그 정확도의 차이가 너무나 크다. 그런데 기계가 어떻게 알아서 학습을 할까? 이 해답이 빅데이터에 있다. A라는 데이터가 주어졌을 때 B라는 결과가 나왔다면 그냥 A와 B를 동시에 기계에게 주면 된다. 그러면 기계는 알아서 A와 B가 어떤 복잡한 연관성을 띄고 있는지 사람이 따로 알려주지 않아도 학습을 하게 된다. 여기서 A와 B가 바로 빅데이터이다. 결국 기계가 학습하는데 재료가 되는 교과서의 역할을 빅데이터가 하게 되는 것이다.
사실상 머신러닝이 빅데이터와 인공지능의 교두보입니다.
