brunch

You can make anything
by writing

C.S.Lewis

by offthemesh Mar 01. 2018

사용하기 힘든 정보와 자료

빅데이터의 2018년 주소

여러 가지 의미에서 요즘은 데이터의 중요성이 더 부각되고 있죠? 인공지능 관련이나 정보 분야만이 아니라 농업 등 각종 산업에 자동화 쪽에 도움이 될 거라는 예측도 많이 나오고 있고요.

Wikipedia에 데이터는 자료이고, 의미 있게 정리되면 정보가 된다고 쓰여있네요.

자주 들어본 '빅데이터'는 과연 정보일까요? 사전적 정의는 '자료들이 수없이 모여있어 크나큰 집합체'입니다. 따라서 순수 의미로는 아니다입니다. 하지만 포괄적으로는 그렇게 쓰이는걸 다들 경험하셨을 겁니다. 전산으로 처리/정리/배포되는 자료와 정보는 이제 관심이 있다면 필수로 접하고 익숙해져야 하는 '습득의 방법'이 되어 버렸죠. 관심은 있지만 전문가처럼 알고 싶지는 않은 분들을 위해 써봅니다.

더 이상 빅 데이터는 없다?

2017년부터는 기업 분석 예측의 강자 가트너(Gartner)의 키워드 리스트에 '빅데이터'는 빠져있습니다. 더 이상 상용되고 있지 않거나, 혹은 다른 키워드로 대체되고 있어서? 아니요, 오히려 너무 많은 곳에서 쓰이는 빅데이터는 이제 더 이상 특별한 것이 아니기에 관심-키워드 리스트에서 멀어진 경우입니다. 구글에서 서치를 하거나 페이스북이나 스냅챗을, 카톡을 하더라도 보이지 않는 곳에서 자료수집이 자동으로 진행되고 있는 걸 아시죠? 이제는 그런 온라인 서비스를 사용하지 않는데도 자료는 수집되는 시대가 오고 있어요. 일상화 또는 보편화가 되었다는 거죠.

또 하나의 이유는 '자료의 큰 모음'이라는 순수 의미보다 '자동화된 정보처리'의 실용적 의미로 통용되는 현상이 더 이상 지속되는 것을 최소화하기 위한 결정일 수도 있습니다. 이런 현상은 '빅데이터'의 가치가 자료보다는 정보로 가늠 가능하기에 일어나는 것 같습니다.

가치를 따져보면 핵심 프로젝트?

가업형 혹은 중소기업 이상의 기업들은 현재 내부적 효율을 높이는데 열을 가하고 있는데요, 여기엔 많이 들어보신 알파고, AI/인공지능, xR/가상현실 등 기계적인 요소가 있지요. 여기 필요한 것이 바로 자료(data)와 정보(information)인 거죠.

농업 쪽으로 이미 많은 발전된 기법과 기술 접목들이 보도되고 있고, 자율주행과 각종 가전기기 (예: AR-VR vs TV)에 있어서도 머지않은 날, 오늘 밥솥 예약 세팅하는 것처럼 부분적으로나마 자동화된 일과가 신경 별로 쓰지 않아도 되게끔 우리에게 다가옵니다.

가트너 올해의 키워드 리스트에서 빠진 것은 그만큼 보편화가 될 것을 예측한 이유로 생각됩니다. 사업이 어떻게 돌아가고 있는지 경영하는 입장에선 "우리 업체는 정보화가 어느 정도 되었나?" 하며 물어볼 필요가 당연한 시점이 온 것일 수 있지 않을까요?

기업의 현주소는?

아래 표는 데이터의 기업 내 보유/배출량, 또 기능적 노하우에 따라서, 시대적으로 표기해보실 수 있습니다 (미팅에서 이것을 설명하고 사내 설문식으로 배포했을 때 생겨진 데이터가 재밌습니다).

기업의 현주소가 어디쯤 있는지 댓글로 알려주시면 제가 답해보는건 어떤가요?

준비되어 있지 않다면?

상용 가치는 기술인력이 아닌 관리부서에서 측정분석을 정보 단위로 하기가 보다 객관적이 될 수 있을 것 같습니다.

가치는 사용되었을 때, 결과와 빗대어 효용성을 측정하면서 세워집니다. 추려진 자료가 있을 때, 정보로서 인식하기까지는 읽고, 생각하는 시간이 걸릴 수밖에 없죠. 요즘에 자신의 직종이 정보/자료를 처리하는 분들 중 인공지능이 발전하면서 직장이 위험하다고 생각하는 분들이 많지 않을 수도 있지만 오히려 이러한 정보 관련 직업 중에 대체 가능한 경우가 사실 많습니다.

작성은 속도에 있어 측정을 따라가지 못한다

인간의 속도로 인간이 만들어 내는 자료보다 기계가 환경을 측정해서 제출하는 데이터의 양이 많아지고 있습니다. 스마트폰보다 필요에 따라 전문화된 기계와 센서들이 매시간, 초당 자료를 네트워크를 통해 저장하는 세계의 여러 클라우드와 데이터베이스에는 매년 상상하기 힘든 양의 자료가 모여지고요.

LTE나 5G 같은 지역별 대용량 사용자 네트워크보다 CCTV 같은 비교적 소규모 네트워크라도 앞으로는 관리 가능한 영역이 더 넓어지면서 동시에 깊어질 수 있는 시대가 와주었으니까요. 이건 시간과 여력의 문제이지 기술적 가능함은 이미 물품 제조/공장단위로 실행되고 있는 현실이에요. 10년 전인 2007년에 제가 참여한 국제적 전자제품사 ERP에 매분 실제 운영 상태가 보고서 제출이 (자동화되어) 가능했습니다.

2017년 현재, 컴퓨터 기술이 발전했기에 많아진 자료의 처리는 자동화되는 게 당연하고, 그렇게 모인 방대한 자료를 쓰임새 있는 정보로 재정리를 하는 업무를 가진 관리/기획 종사자 중 보편화된 (구글 비슷한) 서치 기능과 비슷한 UX를 기대하는 사용자의 수가 증가할 것으로 보입니다. 여기에 마이크로소프트(MS)의 PowerBI와 ThoughtSpot 같은 웹서비스가 이미 기능적으론 구현을 한 상태이죠.

간단한 비교 예로, 인터넷 기사들의 많은 수가 인공지능 (AI, 알파고 등)에 의해 자동 작성 내지는 검수되고 있는 속도와 인간 기자와 편집자가 시간당 제출하는 속도는 개수당으로 잰다면 꽤 큰 차이가 보일 겁니다. 자동화는 이미 존재하는 설루션의 사용자의 절대적 필요 가치를 다섯 가지의 업무에서 두세 가지로 줄이려는 노력의 연장선이겠죠.

이쯤에서 2018년에서의 빅 데이터 사용을 위해 필요한 관점에 대해 정리를 마치려고 합니다. (FM으로 하자면 끝이 없는 거겠죠?)

keyword