데이터의 역사와 트렌드(1)
데이터의 디지털화와 사물 인터넷
데이터는 어떻게 변화하고 있는가?
그냥 슬쩍 그려보면 이런 느낌이다데이터는 흔적이다. 자연은 오랜 시간에 걸쳐 많은 흔적을 남겨두었다. 인간은 1440년 활자 술의 발달 이후 본격적으로 기록이라는 이름의 흔적을 남기기 시작했다. 이후 인간이 만들어 내는 데이터 생성 양이 기하급수적으로 증가하고 데이터가 축적되기 시작했다. 컴퓨터의 발달과 함께 데이터는 점차 디지털화되기 시작했다. 퍼스널 컴퓨터의 확산과 인터넷이라는 정보통신의 발달은 데이터의 디지털화를 가속화시키기 시작했다. 빅토르 마이어 쇤버거, 케네스 쿠키어는 그들의 저서 <빅데이터가 만드는 세상>에서 2000년 세상에 저장된 정보의 4분의 1만이 디지털이었고, 나머지는 종이나 필름 등 아날로그 매체에 기록되어 있었는데, 2007년에는 데이터 중 7%만이 아날로그였으며 2013년에는 디지털이 아닌 데이터는 2% 이하가 될 것이라고 밝힌 바 있다. 아날로그 매체에 잠들어 있던 수많은 문헌들, 그림, 유물 등 인류의 기록들이 모두 디지털 데이터화 되고 있다.
구글은 2004년부터 도서들을 디지털화해 인터넷으로 열람할 수 있는 ‘구글북스’ 서비스를 발표했다. 주요 학술도서관에 소장되어 있던 2000만 권 이상의 책을 디지털 데이터로 만들었다. 2016년 4월, 미국작가협회와의 11년간의 저작권법 소송에서 승리하며, 유일한 걸림돌마저 제거하였다. 이어 5월에는 예술작품을 촬영하고 데이터화 하기 위한 10억 화소의‘아트 카메라’를 구글 공식 블로그를 통해 발표했다. 아트 카메라는 자동으로 수 백장의 클로즈업 이미지를 촬영하고 이를 하나의 초 고화질 이미지로 만들어낸다. 또한 정확한 초점을 맞추기 위해 레이저와 음파탐지 기술을 활용한다. 이를 통해 그림 한 장을 디지털 데이터화 하는데 걸리는 시간을 획기적으로 줄였다.
10억 화소의 아트 카메라 출처: 구글 공식 블로그전 세계 박물관에 있는 그림, 유물 등이 모두 디지털 데이터화 되어 보관될 날이 멀지 않았다. 구글 아트 앤드 컬처(Google Arts & Culture) 사이트에 방문하면, 기 구축된 방대한 예술작품들을 살펴볼 수 있다. 직접 박물관에서 보는 것과는 다른 디테일한 면면을 엿볼 수 있을 것이다.
모바일 시대 개막 이후 사람들은 빠른 속도로 자신의 흔적을 남기기 시작했다. 개인들이 소셜미디어를 통해 올린 텍스트, 이미지, 영상들이 모두 데이터화 되고 있다. 모바일 앱들을 통해서도 수많은 데이터가 생성, 수집되고 있다. 데이터는 더욱 개인화되고, 실시간성을 가지게 되었으며, 인적 네트워크, 위치기반 등의 맥락(Context)을 수반하는 특징을 가지게 되었다. 개개인이 데이터 생산자 역할의 중심에 자리 잡게 된 것이다. 데이터 양의 증가는 물론이고 그동안 잘 다뤄지지 않았던 각 개인의 일상생활 데이터가 각종 플랫폼을 통해 모이고 있다. 물론 그만큼 부정확한 오류들과 편협한 의견들을 비롯한 수많은 소음들 또한 증가했음을 부인할 수는 없다.
사물인터넷의 확산, 수많은 오프라인 데이터의 수집
더 나아가 현실세계의 사물들 스스로 데이터를 만드는 시대가 열리고 있다. 이미 범람하고 있는 데이터의 홍수도 사물인터넷을 통해 생성될 데이터 양에 비하면 새 발의 피에 불과하다. 사물인터넷(Internetof things, IoT)은 사람, 사물, 공간, 데이터 등 모든 것이 인터넷으로 연결되어, 정보가 생성, 수집, 공유, 활용되는 기술 및 환경을 의미한다.* 커넥팅 랩(편석준 외 3인)은 그들의 저서 ‘사물인터넷’에서 1) 지능을 가진 사물, 2) 연결과 소통, 3) 새로운 가치 제공을 사물인터넷을 이루는 3가지 공통 요소로 규정하고 있다. 결국 사물인터넷은 주위를 인식할 수 있는 센서, 센서가 수집한 데이터를 전달할 수 있는 네트워크 연결, 데이터를 처리하고 분석할 수 있는 능력이 필수적으로 요구된다. 사람의 지능은 복잡한 과정을 거쳐 데이터화 되어야 하지만, 사물의 지능은 그 자체가 데이터이기 때문에 가공되지 않은 날것의 데이터가 쉴 새 없이 생성된다. 중요한 점은 향후 수많은 사물이 센서를 가지게 될 것이고, 어떤 사물(예를 들면 자율주행 자동차)은 한 개체에도 수많은 센서를 장착하게 될 것이라는 점이다. 그로 인해 데이터 양은 지금까지 와는 비교할 수 없을 정도로 폭발적으로 증가할 것이다. 사물들이 만들어 내는 데이터들은 각 개체에서 실시간으로 처리되고 사라지기도 하겠지만, 그중 수집 가치가 있는 일부 중요 데이터들은 클라우드에 저장될 것이다. 그리고 사람 또는 기계의 분석과정을 거친 후에는 엄청난 가치를 가진 정보이자 기회가 될 것이 분명하다.
에릭슨엘지는 에릭슨 모빌리티 리포트에서 당장 2018년이 되면 휴대용 사물인터넷 기기가 휴대전화보다 많아질 것이라고 밝혔다. 2015년에서 2021년까지 휴대용 사물인터넷 기기는 연평균 23%로 성장하여 280억 개의 인터넷 연결 기기 중 약 160억 개에 달할 것으로 전망했다. 수많은 웨어러블 디바이스들이 각 개인의 행동과 신체적, 정신적 변화, 주변 환경에 대한 데이터를 수집하게 될 것이다. 이미 보편화되기 시작한 손목 착용 기기뿐만 아니라 옷과 신발, 액세서리 등을 비롯해서 눈과 귀 등 다양한 신체와 연관된 제품들이 출시되었거나 개발되고 있다.
출처: 에릭슨 모빌리티 리포트
사물인터넷이 가져오는 변화의 중요한 점 한 가지는 전통적 제조업 분야와 IT 서비스업 간 융복합을 가속화시킨다는 것이다. 단기적 관점에서는 경쟁 영역이 확대된다고 표현할 수도 있다. 단순히 사물을 만들던 제조업체들은 사물에 지능과 네트워크를 부여하고, 그곳에서 생성되는 데이터를 활용하여 사물의 가치를 증가시키고자 한다. 사물들 간의 연결은 모니터링, 제어, 최적화, 자동화 단계의 제품 진화를 지향점으로 삼고 있다. 더 나아가 제조업들은 획득한 데이터를 기반으로 새로운 비즈니스 기회를 찾고자 노력하고 있다.
출처: How smart, connected products are transforming competition, HBR 2014. 11좀 더 자세한 내용을 보고 싶은 사람은 아래 링크를
IT기업들도 더 이상 가상세계에서만 머무르려고 하지 않는다. 이러한 변화를 가장 잘 보여주는 분야가 스마트 카 또는 커넥티드 카로 불리는 자율주행을 기반으로 한 자동차 산업이다. 해당 산업은 ‘자동차 제조업’에서 ‘이동서비스 공급업’으로 변화되어 가고 있다. 구글, 인텔, IBM, 바이두, 아마존, 우버 등 이름만 들어도 알 만한 주요 IT 대표 기업들이 많은 돈과 노력을 자율주행 차량을 만드는데 투자하고 있다. 동시에 기존 자동차 제조업체 들과의 공동 개발 협력도 이루어지고 있다. 구글은 2014년 안드로이드 운영체제를 중심으로 아우디, 혼다, GM, 현대차와 OAA(Open Automotive Alliance) 연합체제를 구축했으며, 인텔은 BMW, 아마존은 포드와 각각 협력관계를 형성하였다. 자율주행을 실현하기 위해서는 엄청난 양의 데이터가 필요하다.
구글은 2009년부터 미국에서 자율주행을 테스트하며 엄청난 데이터를 쌓아가고 있다. 구글은 매달 자율주행 프로젝트에 대한 리포트(Google Self-Driving Car Project Monthly Report)를 발표하고 있는데, 2016년 11월 30일 기준 약 234만 마일(약 377만 km)이 넘는 자율주행을 완료하였다. (2016년 12월 이후 구글이 추진해 온 자율주행 자동차 프로젝트는 자회사 웨이모 WAYMO로 출범하였으며, 이후 리포트 발행은 중단됨) 구글은 안전성에 최우선의 가치를 두고 다양한 사례에 대한 데이터 수집과 데이터를 활용한 머신 러닝을 수행하고 있다. 예를 들면 자동차뿐만 아니라 자전거 탑승자의 돌발적인 상황에 대비하기 위해 자전거 타기에 대한 방대한 데이터를 수집, 분석하고 있으며, 보행자의 행동에 대한 이해를 위한 노력도 동시에 수행하고 있다. 또한 각종 돌발상황에 대해 얻게 된 데이터들은 다른 자율주행 자동차와 공유되어 업데이트된다. 구글은 자사의 자율주행 작동 방식을 다음 4가지로 간략하게 설명하고 있다. 기존 데이터를 분석하고 처리함과 동시에 새로운 정보를 실시간으로 받아들여 예측과 통제를 동시에 처리해야 하는 어려운 일이지만 우리 주변에서 만나보게 될 날이 멀지 않았다.
1) Where am I?
: 맵과 센서 데이터를 활용하여 어느 지점에 있는지 인식
2) What’s around me?
: 주변 개체에 대한 탐색 및 기존 데이터를 활용한 분류 및 행동 패턴 분석
3) What will happen next?
: 소프트웨어에서 주변 개체들이 이후 어떻게 행동할 것인지 판단
4) What should I do?
: 안전한 속도와 궤적으로 차량 통제
(영상을 통해서 작동원리와 현재 수준을 확인해 볼 수 있다)
https://www.youtube.com/watch?v=bDOnn0-4Nq8
사물인터넷이 가장 빠르게 적용되어 나가고 있는 또 다른 분야는 주거 편의성 향상을 위한 스마트 홈 분야이다. 거리에서 자동차와 IT가 만나면서 생성되는 데이터의 양도 무궁무진하지만, 전세계 수 많은 가정 내에 존재하는 가전제품들과 사물들이 만들어 낼 데이터와 이를 활용한 새로운 서비스도 그 한계를 예측하기 쉽지 않다. 국내에서는 건설사, 이동통신사, 가전제품 제조사가 시장 선점을 위해 각축전을 벌이고 있다. 정부와 시 자치구 들도 실증단지를 조성하고 시범사업을 진행하고 있다. 서울시는 2015년 북촌 한옥마을 시범사업에 이어 2016년에는 금천구 관악산 벽산타운 5단지를 주거분야 실증단지로 지정하여 사업을 추진하고 있다. 기존 관 주도의 사업을 지양하고 대기업과 다양한 분야의 스타트업들 이주 체적으로 참여할 수 있도록 기획 방향을 잡은 점이 주목을 끈다. 어린이 안전, 노인 케어 서비스, 공기 질 관리시스템, 운동량 관리 서비스 등 안전, 환경, 건강, 생활편의, 복지와 관련된 사물인터넷 서비스들이 대거 적용될 예정이다. 주거 분야의 사물인터넷은 많은 기업들이 차세대 먹거리로 관심도가 높은 분야이지만, 개인 정보와 보안에 민감한 영역이다 보니 상대적으로 데이터 비즈니스로 확대, 활용되기에는 심리적 장벽이 높은 편이다.
정리해 보면 사물 인터넷 기기들의 센서들이 생성할 데이터는 다음과 같은 특징을 가지게 될 것이다.
1) 오프라인 현실에서 일어나는 현상을 기록함
2) 스트리밍 데이터로 자동적으로 생성되며 시계열적 연속성을 가짐
3) 생성 즉시 자동 의사결정에 활용되고 사라지는 데이터와 기록 저장되는 데이터가 분류될 것임
4) 기록 저장되는 데이터는 일부지만, 지금까지 경험해보지 못한 엄청난 양을 가지게 될 것임
5) 정형화된 데이터보다는 비 정형화된 데이터가 대다수를 차지할 것임
