brunch

매거진 웰컴투인공지능

라이킷 15 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 루달리 May 26. 2021

이제는 정보보다 데이터가 중요하다

#빅데이터 #미래사회원유 #빅데이터 특징 #비정형 데이터

데이터와 정보의 관계 : 이제는 정보보다 데이터가 중요하다.

인공지능 시대에 가장 중요한 것으로 빅데이터Big Data를 꼽는다. 인공 지능을 학습시키기 위해서는 재료가 필요한데 그게 바로 데이터이기 때문이다. 그런데, 이 데이터는 지금까지의 데이터와는 접근 방법이 좀 다르다. 지금까지는 인간의 경험과 전문 지식이 반영된 데이터를 중요시했다. 그런데, 빅데이터는 사람뿐만 아니라 사물에서까지 나오는 모든 데이터를 의미한다. 아무런 의미도 없는 그냥 데이터, 이것이 빅데이터이다. 어찌보면 디지털 쓰레기라고도 할 수 있는 이런 데이터가 어떤 의미가 있을까? 빅데이터의 가치를 잘 이해하고 활용할 수 있는 사람이 미래 인공지능 사회의 경쟁력을 가질 수 있다.

#빅데이터Big Data는 인공지능 시대의 원유이다.

인공지능을 이해하기 위해서는 우선 빅데이터를 이해해야 한다. 빅데이터는 데이터Data가 많이Big 모인 것이다. 그런데, 이 빅데이터가 왜 중요한 것일까? 3차 산업혁명 시대는 지식 정보 사회라고 했다. 정보Information란 수 많은 데이터 중에서 유의미한 데이터만을 모아 놓은 것이다. 정보를 사용하는 자에게 가치 있는 데이터를 말한다. 즉, 그냥 데이터가 아닌 사용자에게 유의미한 데이터인 정보Information가 중요한 것이다. 그런데, 인공지능 사회에서는 이 패러다임이 바뀌었다. 데이터에서 정보를 추출하는 것을 인간이 했다면 인공지능 사회에는 기계가 대신하겠다는 것이다. 그래서, 유의미한 데이터가 아닌 그냥 데이터 집합, 즉 빅데이터Big Data가 중요하다는 점이 다르다.

예를 들어, 지역별 성적 분포를 조사하고자 한다. 정보가 중요한 시대에는 사는 지역, 소득 수준, 1인당 교사 수, 사교육 비율 등 유의미한 데이터를 가지고 분석을 하여 결과를 도출하였다. 이때, 유의미한 데이터는 인간이 판단하여 컴퓨터에게 제공한다. 반면, 빅데이터를 가지고 지역별 성적 분포를 조사하면 그 프로세서가 바뀐다. 인간은 데이터에 의미를 부여하지 않는다. 그냥 데이터 전부를 제공할 뿐이다. 사는 지역, 소득 수준, 1인당 교사 수, 사교육 비율 등을 비롯하여 학생의 성격, 키, 몸무게 등 상관 없어 보이는 데이터까지 모두 제공한다. 그러면, 인공지능이 전부의 데이터를 읽고 나서 유의미한 결과를 도출하는 방법이다. 그로 인해, 인공지능이 인간은 생각지 못했던 학생의 성격과의 관계를 발견할 수 있는 것이다.

#데이터의 종류가 바뀌고 다양해졌다.

클라우드 기반의 빅데이터 출처 : dreamstime

이전에는 컴퓨터가 저장하고 처리하기 편한 정형화된 데이터가 주를 이루었다. 주로 숫자나 문자와 같은 데이터이다. 숫자의 계산은 컴퓨터가 가장 자신있는 분야이다. 처리 속도면이나 정확성 측면에서 인간은 도저히 컴퓨터를 이길 수 없다. 텍스트의 경우에는 의미를 분석하는 것은 어렵지만 텍스트를 입력하고 저장하여 출력하는 것은 매우 쉬운 일이었다. 하지만, 인공지능 시대를 구현하기 위해서는 인간이 주로 사용하는 데이터를 다뤄야 한다.

인간이 주로 사용하는 데이터는 오감을 통한 데이터이므로 비정형화된 데이터이다. 시력은 이미지나 영상 데이터, 귀는 소리의 크기나 음색 데이터, 후각은 향, 촉각은 피부감각, 미각은 맛을 데이터로 저장한다. 사물인터넷 IoTInternet of Things을 통해 각종 센서로부터 조도, 습도등의 현실 세계 데이터가 생성된다. GPS, 속도, 중력과 같은 물리 값들이 클라우드Cloude 환경을 통해 전달된다. 이들 데이터는 유의미한 정보가 아닌 그냥 데이터일 뿐이다. 빅데이터Big Data가 필요한 이유는 이러한 데이터로부터 가치를 찾아내고 결과를 분석할 수 있는 인공지능 알고리즘이 있기 때문이다.

“인간은 보이는데로 보는 게 아니라 보고 싶은 것만 본다. 또, 들리는 데로 듣는 게 아니라 듣고 싶은 것만 듣는다.” 똑같은 공간에 함께 있는데 누구는 풍경을 보고 누구는 사람의 표정을 본다. 또, 같은 상황에서 같은 말을 들어도 듣는 사람의 입장이나 경험에 따라 다르게 해석한다. 그래서 늘 인간 사이에는 오해가 생기고 오류가 발생한다. 빅데이터Big Data의 가치는 인간과 컴퓨터의 차이로 인해 빛을 보게 된 것이다. 인간의 한계로 보지 못한 데이터를 발견하는 것이 빅데이터가 하는 일이다.

#빅데이터의 특징 5V

요즘엔 핸드폰이 없으면 일상 생활에 지장이 있을 정도로 현대 사회의 필수품이 되었다. 핸드폰의 SNS와 센서를 통해 실시간으로 수 없이 많은 데이터들이 클라우드를 통해 저장된다. 데이터의 종류도 텍스트, 이미지, 오디오, 영상 등 다양하다. 사물 인터넷IoT까지 더해 사물과 사람뿐만 아니라 사물과 사물 사이에도 데이터를 주고 받는 시대가 되었다. 이 모든 생태계를 통해 데이터가 생산되고 새로운 차원의 의사소통이 일어난다. 빅데이터Big Data의 특징은 데이터의 크기Volume, 입출력 속도Veloity, 종류의 다양성Variety, 데이터의 가치Value와 정확성Veracity이다.

인터넷 시대인 1990년대 후반에는 포털 사이트가 크게 인기가 있었다. 네이버와 같은 포털 사이트에 접속하면 카테고리를 통해 내가 원하는 정보를 쉽게 찾을 수 있었기 때문이다. 이는 사람들이 데이터를 유의미하게 분류해 놓은 것이다. 반면, 초기 구글은 아무것도 없는 빈 화면에 네모난 박스 하나만 덩그러니 있었다. 사람들은 네모난 박스를 통해 오로지 검색을 통해서만 정보를 찾았다. 구글이 하는 일을 잘 이해하지 못한 사람들은 “당신들은 네모난 박스로 무엇을 하는 거죠?”라는 질문을 했다고 한다. 구글은 “우리는 인공지능을 하고 있습니다”라고 말했다. 이렇게 쌓인 빅데이터로 미국 대통령 선거 결과를 예측한 구글은 '구글은 미국 대선 결과를 알고 있다'라는 수준에까지 이르렀다.

빅데이터는 인공지능 시대에 원유이다. 이만큼 4차 산업혁명 시대의 가장 중요한 자원이라는 뜻이다. 인공지능은 인간의 한계 때문에 보지 못하는 데이터를 강력한 컴퓨터 성능과 알고리즘으로 찾아준다. 데이터의 종류는 숫자와 텍스트와 같은 정형화된 데이터에서 영상, 음성, 각종 IoT 센서에서 발생하는 아날로그 데이터까지 비 정형데이터로 바뀌었다. 데이터는 인간이 아침에 눈을 뜨면서부터 잠들 때까지 끊임없이 생성된다. 클라우드 환경하에서 사물들끼리 통신하며 새로운 차원의 의사소통이 일어난다. 데이터가 보내는 신호의 가치를 인간이 캐치 할 수 있도록 돕는 것이 빅데이터이다.

keyword