빅데이터라는 말 들을 때마다 짜증 나는 사람들은 아마도 빅데이터(로 분류되는) 쪽에서 일하는 사람들일 거다. 데이터 혁명인 건 맞고, 이건 이전 역사에서 철도의 상용화, 상/하수도의 개발, 전기의 상용화, 인터넷/핸드폰의 일상화 정도로 크게 영향을 미치는 것도 맞긴 한데 '빅'이란 게 틀려서다.
데이터 용량은 상관 없다. 상관 없어요. 진짜 없어요. '빅'좀 빼세요.
데이터 분석 중에서 몇십 년 전부터 안 한, 완전 신기술은 거의 없다. 좀 업그레이드 버전이거나 예전에는 이론적으로는 알아도 실제 전산처리가 불가능했던 거를 할 수 있게 되어서 쓸 수 있는 게 많다.
그리고 velocity variety volume 뭐 어쩌고 해서 데이터가 너무 빨리, 다양한 형태로, 엄청난 양으로 들어온다 어쩐다 하는데 그건 데이터 엔지니어 문제고 당신이 걱정 안 해줘도 된다. 요즘에는 툴도 엄청 많아서 웬만한 거는 며칠 몇 주 삽질하면 다 한다.
그럼 뭐가 대단한 거냐고 묻는다면,
전화기 발명 초반에는 알렉산더 벨이 자기 조수하고만 얘기할 수 있었을 테니 거 참 신기한 기술이긴 하더라도 그냥 그걸로 끝이다. 사회 전체에 영향을 끼치려면 전화기가 곳곳에 깔려야 했다. 기술 자체보다 활용도가 더 문제라는 얘기. 마찬가지로 철도를 동네 A랑 동네 B 사이에 하나 깔아서 왔다 갔다 하는 거는 장난감이다. 미국 골드러시 때 동부에서 서부 가려면 몇 달을 목숨 걸고 가거나, 무려 파나마까지 가서 육로로 건너서 샌프란으로 배 타고 갔다는 거 고려하면, 철도 비포 애프터는 뭐 말 안 해도 아시리라 믿는다. 다시 한 번, 철도나 기차 만드는 기술보다는 활용도가 문제. 데이터 분석/처리 방법의 기술보다는, 그걸 엄청 다양하게 활용 가능하다는 것이 최근 빅데이터 열풍의 핵심.
데이터 분석이 새로운 게 아니고, 데이터 처리 역시 기술적으로 쉽지는 않다만 일반인이 걱정 안 해도 잘 돌아간다. 어차피 데이터 분석 레벨까지 가려면 그 많고 복잡한 데이터 잘 추려서 스몰 데이터로 만든다. 중요한 것은 이전에는 데이터를 쉽게 얻지 못했을 곳에서 데이터가 쏟아져 나오고 있고, 그걸 쉽게 처리해서 상황 판단 및 예측이 가능하다는 것.
마트를 예로 들어보자. 예전 같으면 몇 명이 들어오고 몇 명이 나가는지, 언제 제일 사람이 많은지 이런 건 하루 종일 붙잡아서 세거나 그냥 감으로 어림짐작했을 거다. (그래서 오래 일한 사람의 노하우가 중요했다.) 이제는 뭐 아주 간단하게는 문에 몇천 원짜리 센서를 달아서 스마트폰에 분석 앱을 깔 수도 있고, 복잡하게 가자면 이미지 분석으로 나이대, 성별, 마트 내에서 이동 패턴 쇼핑 패턴, 카트 움직임 트랙킹, 진열대에 센서 부착 등등 거의 무제한으로 수치화할 수 있다. 지금 당장은 전기 소켓이나 스마트폰처럼 완전히 표준화되어 있지 않고 하나하나 수작업으로 데이터 수집 시스템을 만들어야 하지만 불과 몇 년 전만 해도 아예 상상조차 못했던 얘기다. 물론 인터넷 사이트는 몇십, 몇백 배로 더 쉽게 데이터 수집 분석 및 예측이 가능하다.
그래서 나에게 빅데이터 전망에 rhks해서 물어보면, 데이터와 사물 인터넷은 철도나 전기만큼이나 이 세계를 변화시킬 거라고 믿지만, 데이터 사이언티스트가 된다는 사람들은 말린다. 철도가 깔리고 있으면 새로운 시장에 물건 내다 팔 생각하고, 철도역 옆에 상가 사고 호텔 짓고 해야지 왜 철도청 엔지니어가 되려고 하시나. 요즘, 그리고 향후 몇 년 동안은 신이 내린 직장이긴 한데, 자리 난다 해도 그렇게 많진 않소. 물론 예전보다는 자리 늘겠고 연봉도 좋고 하겠지만 결국 월급이고, 진짜 돈 버는 사람은 역 옆에 땅 사둔 아줌마, 새로 생기는 역에다가 거기에는 없는 물건 내다파는 아저씨라는 거. 전국에 공사하는 동안에는 엄청난 인력이 필요하겠으나 공사가 끝나면(==> 웬만한 데이터 수집 프로세스 뭐 등등 하는 버티컬 데이터 솔루션이 분야마다 다 나오면) 철도 설치에 참가했던 인원중 대부분은 다른 데로 빠지거나, 아직 깔리지 않은 다른 나라로 옮겨가겠지. 물론 IT 시대에는 일자리가 다른 나라에 생기는 게 아니라 그냥 그 솔루션 개발한 회사가 곧바로 그 나라에 진출해서 떼돈 버는 걸로 끝난다 (아마존이라던가 아마존이라던가. 난 세상에서 아마존이 제일 무섭다. 제프 사장님은 미래에서 타임머신을 타고 온 사람이 아닐까 심각하게 의심한다).
지금 현재 IT 에 종사하고 있는 분이고 데이터 쪽에 관심 있다면야 데이터 사이언티스트 말리지 않겠다만 (앞으로 최소한 5년은 노다지!!), 특히 나이가 어리다면 지금 시중에 널려있는 API 와 툴 만으로도 기차역 부지 보러 다니겠다. 기차 만드는 법은 몰라도 된다. 기차 노선도랑 배차표 보고 어디에서 어디로 뭘 보낼 수 있는지 확인하고 도매로 하면 얼마나 깎아주는지 네고할 때다. 아직 대학교에도 들어가지 않은 고등학생이 데이터 사이언티스트를 목표로 하고 통계/기계학습 박사학위를 지금부터 목표로 한다 하자. 이건 최근의 예를 들자면 애플이 아이폰 출시하고 앱스토어 광고하는데 "난 공부 열심히 해서 애플 아이폰 앱스토어 만드는 직원이 되겠어" 하는 셈이다. 아니요 빨랑 앱 쓰는 법 배워서 앱을 팔아야지 핀트가 좀 빗나간 거 같소. 대학교 석사 박사 (군대)까지 하면 몇 년인데 타이밍이 안 맞소.
지금 시장에서 데이터 혁명으로 가장 이득을 볼 수 있는 사람은 IT 개발의 기본을 이해하는 다른 분야 종사자라고 생각한다. 의료계에 종사하는 사람이 이미지 기계학습 기술로 의료기계 판다든가, 옷가게에서 구매자들을 철저히 분석해 다른 가게들이 따라올 수 없는 독창적인 마케팅을 한다든지, 텍스트 기계학습을 활용해서 일처리를 수십 배로 늘리는 변호사라든가 뭐 그런 사람들. 저도 나이 좀 어렸다면 스타트업이라도 해 보고 싶습니다만 애엄마인 저는 그냥 철도청 직원으로 남을랍니다.
새벽 한 시 반에 이러고 있습니다. 자야죠 네.