빅데이터 도입에 실패하지 않는 10가지 방법
이것만 알면 빅데이터에 성공한다
모두들 빅데이터가 중요한 줄은 안다.
그러나 무엇 부터 해야 하는지,
누구를 만냐야 하는지는 모르고 있다.
또한 데이터 사이언티스트가 어떤 일을 하고,
데이터 사이언티스트가 되기 위해 어떤 길을 택해야 하는지에 대해서는 대게 피상적으로만 알고 있다.
이 글은
필자가 수행한 수차례의 빅데이터 도입 컨설팅 경험을 바탕으로 하며,
또한 실제 빅데이터 업계의 현실적인 고민을 반영해 작성했다.
이것만 알면 빅데이터 도입에 실패 하지 않으리라는 염원으로 이제 10가지 비결을 알려 주겠다.
1. 대기업이라면 소수의 1군 광고대행사와 빅데이터 프로젝트를 진행해라
훌륭한 1군 광고 대행사들은 이미 적어도 50~30여 년간 정교한 시장 조사 방법을 갈고닦아 왔고 그것엔 소비자 심리학, 통계학의 방법이 녹아들어 있다. 그런 광고대행사 들은 이미 빅데이터라는 용어가 생기기 이전에 빅데이터의 기반이 되는 일들을 해왔다. 그들은 대부분의 빅데이터 업체라는 곳 보다 빅데이터를 통해 무엇을 해야 하는지 잘 알고 있다. 비록 빅데이터 산업의 초반이기는 하지만 몇몇 1군 광고대행사들은- IT업계엔 잘 안 알려진 방식으로 -빅데이터 관련 일을 수주받아 성공적으로 수행하고 있다. 그들은 경력이 많지 않지만 신뢰할 수 있는 연구 성과를 가진 박사급 R ‘오퍼레이터’를 초빙해 함께 일한다.
2. 무턱대고 빅데이터 업체에 연락하지 말라
지금 당장 천문학적인 금액의 하드웨어를 도입하지 않으면 큰일 나는 공공기관과 대기업은 빅데이터 업체에 연락하라. 믿을 수 있는 업체의 전화번호를 가르쳐 줄 수도 있다. 대부분의 대한민국 빅데이터 업체는 레퍼런스가 없고, 대부분의 담당자들은 당신과 마찬가지로 빅데이터를 스터디하고 있다. 그들은 페이스북의 관련 그룹을 한 바퀴 돌면 알아낼 수 있는 빅데이터 이야기들을 한 보따리쯤 풀어낼 것이다. 레퍼런스를 갖춘 몇몇 업체는 수십 년간 데이터베이스 관련 업을 영위했고 공공, 대기업 영역에 몇 개의 빅데이터 SI(System Integration) 경력을 가지고 있다. 그러나 그들은 즉각 당신이 원하는 빅데이터 사업 단계에 대한 답을 주지는 않는다. 그 이유는 대부분 마케팅 전문가, 소비자심리 전문가, 통계 전문가들을 보유하고 있지 않기 때문이다. 게다가 그 회사들은 내용 전문가, 통계 전문가 등의 외부 전문가를 섭외해 일하는 데엔 경력이 충분하지 않다. 자세히 말하자면 빅데이터에 대해 대충 들어 본 박사들을 끌어들일 수는 있으나 기업이 원하는 빅데이터 컨설팅이라는 특이한 일의 선후를 따져 원하는 결과를 이끌어 내기는 힘들다.
3. 통계 전문가에게 먼저 연락하지 말라
경영학, 경제학, 혹은 좁게는 마케팅과 관련된 심리학 분야의 전문가를 보유하고 있고, 핵심적인 알고리즘을 상상할 수 있는 인재가 알고리즘을 만들어 냈다면, 통계 전문가에게 연락할 수 있다. 통계 전문가는 반드시 필요하다. 인문계 고등학교에서 배운 통계 지식으로, 대학교 4년 동안 통계를 전혀 다뤄보지 않고, 빅데이터 서적 몇 권 읽은 학사 출신 기획자에게 빅데이터를 맡길 기업은 없다. 수학을 잘하는 이과 출신인데, 컴퓨터 과학을 전공한 개발자이고, R이나 파이썬 등을 자유자재로 다루는 프로그래머는 '통알못'일 뿐 통계학 전문가라 할 수 없다. 경영학의 마케팅 분야, 소비자 심리학, 심리학, 사회학, 스포츠 과학 등 통계를 다루는 학문을 전공한 석사 이상의 마케팅 전문가는 통계학 지식을 잘 알고 있어 빅데이터 프로젝트에 적합한 인재라 할 수 있다. 무엇보다 그들은 정말 어려운 통계적 질문이 무엇인지 판단할 수 있는 능력을 가지고 있고 언제 통계학 교수에게 조언을 구해야 하는지를 알고 있다.
4. 경영 컨설턴트가 없으면 빅데이터를 다룰 수 없다
담당자인 당신이 인생을 걸고 숱한 정치적 입지의 변화를 감내하며 내부 컨설턴트가 될 것이 아니라면 -내부 컨설턴트의 삶이 격무, 이혼 등으로 이어진다는 연구는 업계에 알게 모르게 알려져 있다- 외부에서 초빙한 컨설턴트가 필요하다. 다시, 당신이 속한 업체와 업계의 본질이 무엇인지 알고 있는 경영 컨설턴트가 없이는 빅데이터를 다룰 수 없다. 당신이 속한 업계가 교육업계라면 어디선가 들어 본 ‘욕망을 읽는 것 으로써의 빅데이터’ 모델은 재고해야 한다. 현대 교육이 다루는 중요한 주제 중 하나는 Mindfulness인데, 이 주제는 프로이트- 라캉식 인간학, 지젝스러운 정치학의 욕망과는 아주 먼 다른 차원의 이야기를 다룬다. 욕망이라는 어떤 인간학 혹은 '정치-경제적 사상'에 의해 소비자를 다뤘다간 소비자의 진중한 법적 항의를 받을 수도 있다. 당신이 빅데이터를 도입하고자 하는 CEO나 CEO의 명령을 받은 담당자라면, 가장 먼저 할 일은 당신의 기업, 그리고 업계가 무엇을 하는 지를 철학적, 사상적, 정치-경제학적으로 파악하는 것이다. 이를 고 이병철 회장은 ‘業의 본질’이라 했다. 업의 본질은 시간과 환경에 따라서도 변화한다. 경영컨설턴트의 고유하고 전문적인 인사이트는 이를 한눈에 꿰뚫고 빅 데이터를 이용해 최적의 의사결정으로 이끈다.
5. IT컨설턴트를 빅데이터 프로젝트의 담당자로 뽑지 말라
수십 년간 한국의 IT컨설턴트들은 SI(System Integration)에 매달려 왔다. 그들 중 다수는 빅데이터 시대가 원하는 인문학적 교양을 나름대로 학습하고, 아이폰을 갖고 있고, 빅데이터에 대해 다른 모든 분야와 마찬가지로 쉬지 않고 떠들어 댈 수 있고...찜질방 아줌마들 처럼 떠들어 대는 걸 좋아하는 아재들이다. 그들 대부분은 치킨을 튀겨야 할지 빅데이터를 공부해야 할지 고민 중이며... 겸허한 몇몇 IT 컨설턴트는 젊은 엔지니어와 부대껴 다시 코딩을 하면서 나이 들어가는 것을 즐긴다... IT 컨설턴트는 향후 빅데이터와 본질적으로 관련이 있는 사물인터넷에 관심이 있거나 컨설턴트 자격으로 참여할 수 있다는 맥락에서 그 사업적 기회를 잘 알고 있다. 여러 장점에도 불구하고 대한민국의 대부분의 기존 IT컨설턴트는 빅데이터 컨설턴트가 아니다. 어떤 IT 컨설턴트는 당신에게 글로벌 IT기업의 명함을 내밀며 빅데이터 하드웨어 영업을 할 것이다.
6. SI기업 혹은 웹에이젼시에 빅데이터 프로젝트를 의뢰하지 말라
IT 프로젝트 수행 경험은 향후 웹, 모바일, SI 프로젝트와 연결되어 진행될 많은 빅데이터 프로젝트들에서 귀중한 자산이 될 것이다. 경험이 풍부한 IT 기획자는 다양한 문화적, 인간적 가치를 잘 알며 그것으로 빅데이터 컨설턴트의 중요한 한 가지 자질을 갖는다. 개인에 있어서는 그렇다, 그러나 그들이 모인 대행사는 다르다. 1 군 SI 기업은 수많은 컴퓨터 과학 전공자들을 거느리고 있다. 그들이 마케팅 전문가, 통계전문가, 빅데이터 전문가가 아님은 자명하다. 야근, 갑질 횡포에 의한 스트레스, 저임금 등 대한민국 중소규모 SI 기업 현실에 관한 전설은 업계 관계자가 아니라도 모두 알고 있다. 이 회사들은 당신의 프로젝트가 비록 정치적이며 기만적이라도, 당신의 상관이 보기에 꽤 훌륭한 것으로 만들어 주는 마법을 보유하고 있다. 웹에이젼시에 대해서는, 화려한 온라인 마케팅 집행 레퍼런스를 가진 1군업체 혹은 크리에티브 부티크라 할지라도 그들은 광고 대행사 급의 마케팅 리서쳐를 보유하고 있지 않다. 본격적인 빅데이터의 전 단계인 로그분석의 차원인 구글 Analytics를 다룰 수 있고 소셜웹 마이닝을 할 줄 아는 업체는 간혹 존재한다. 그러나 그들이 가진 핵심 능력인 디자인은 빅데이터를 그래프나 인포그래픽으로 시각화할 때 필요하다. 사용자 편의를 위해 인터페이스를 연구하는 회사들은 통계 패키지를 사용할 줄 아는 질 좋은 연구원들을 보유하고 있다, 하지만 상위의 ‘업의 본질’과 관련한 경영 컨설턴트의 안목을 갖고 있지는 않다. 바이올린과 첼로가 다르듯 이 회사들과 빅 데이터 컨설턴트가 다루는 영역과 깊이는 다르다.
7. IT기획자가 없는 회사와는 빅데이터 프로젝트를 진행하지 말라
세상엔 답을 알고 일하는 자와 답을 알기 위해 일하는 자가 있다. IT 기획자란 모바일과 웹에서 사용자들의 어떤 행동으로 부터 데이터를 수집하고 최종적으로 어떻게 연구 결과를 적용시킬지에 대한 답을 이미 알고 있는 자들이다. 마치 알파고와 맞붙어 기적적인 1승을 거둔 이세돌 처럼. 기획자란 그냥 그런 인간들이다. 닷컴 형성기 소수의 스타 기획자를 제외하곤 대한민국의 IT 기획자는 대부분 드러나지 않는 음지에서 일해왔다. 인터넷의 발흥과 거의 동시에 찾아온 IMF 시기에, 많은 인문계 대학 출신들은 그들의 원래 꿈과는 다르게 IT 기획자가 됐다. 이들은 선생님이었거나, 작가 지망생이었거나, 발레를 했거나, 홍대 음악 씬에 속해 있거나, 출판-영화-엔터테인먼트 등 다양한 경력을 가졌었고, 여러 기술과 문화에 관심이 많은, 빅데이터 컨설팅이 원하는 인문학적 교양을 체화한 인간들이다. 경력 있는 IT기획자들은 서비스 디자인, 비즈니스 모델, 스타트업의 경험이 있으며 고객 지향적 마인드를 가졌다. 이런 기획자는 ICT의 여러 영역인 사물인터넷, 빅데이터, 드론 등에도 관심과 경력이 있다. 기억하라, 빅데이터는 결국 비교적 단순한 개념인 로그데이터를 넘어선, 사물인터넷 센서로부터의 수집되는 실시간 데이터를 다뤄야 한다. 빅데이터 프로젝트를 진행하기 위해, 로그데이터 분석을 포함한 적어도 몇 개의 빅데이터 프로젝트 경력을 가진 IT기획자를 보유하고 있는 것이 좋다. 단 이들이 책임지고 R과 파이썬을 오페레이팅 하는 것을 기대하지는 마라.
8. 한국형 데이터 사이언티스트와 빅데이터프로젝트를 진행하지 말라
빅데이터란 용어가 생기기 이전 10~20여년간, 인공지능, 자연어 처리, 데이터 마이닝을 연구한 연구자들의 보이지 않는 노력이 존재했다. 빅데이터란 용어가 생긴 때와 비슷한 시기에, 그간의 여러 분야의 노력이 종합된 추천 시스템, 머신러닝 등의 분야가 산업계의 요구로 생겨 났다. 미국 기준, 데이터 사이언티스트의 평균 연봉은 10만달러에 가깝다. 대한민국은 2016년을 기준으로 할 때 아직 그만한 조사를 할 만한 풍부한 업계의 풀이 형성되지 않았다. 빅데이터 전문가가 전무하다는 기사가 쏟아지는 와중에 많은 대학교가 관련 과목과 학과를 개설하고 있다. 이들 대부분이 데이터 사이언티스트 육성을 목표로 통계와 R 오퍼레이팅을 가르친다. 이런 교육을 받은 후 상당한 경력을 쌓는다 해도 빅데이터 컨설팅의 중요한 부분을 전담하는 것은 무리다. 통계학이나, 빅데이터 시대에 들어와 R로 대변되는 '진짜 컴퓨터과학'은 모두 기업의 아주 작은 의사결정을 위해서도 깊고도 광활한 전문 지식과 경험을 필요로 하기 때문이다. 고액의 사설 아카데미에서는 주로 기업 담당자들이 비슷한 커리큘럼을 교육 받는다. 이들은 내부 컨설턴트가 되어 의사결정에 영향을 미치기 보다 대부분 외부 빅데이터 컨설턴트를 관리할 인력들이다. 데이터 사이언티스트는 빅데이터 프로젝트의 일원이다. 빅데이터 프로젝트는 결국 의사결정을 위한 일이다. 그럼에도 불구하고 데이터 사이언티스트 한명이 모든 걸 다 하면 된다고 믿는다. 한국에 아직, 경력을 갖춘 미국형의 데이터 어낼리스트로서의 데이터 사이언티스트는 드물다.
9. 관련 유사 전문업체와 단독으로 빅데이터 프로젝트를 진행하지 말라
다음의 대부분의 업계는 빅데이터 전문 컨설팅 업체와 함께 다양한 빅데이터 프로젝트에 참여 할 수도 있다. 단지 단독으로는 진행 할 수 없다. 보안, 금융, 국제무역, 신용, 지리정보, 게임, 학술 등 온갖 전문 서비스 회사나 관련된 전문 IT 업체는 향후 그들의 고객은 물론 기업고객과 단체에 의미 있는 빅데이터 서비스를 제공할 수 있다. 물론 빅데이터 전문가 집단과 함께. H/R 업계는 기업을 대상으로 인사, 교육, 컨설팅 등 다양한 서비스를 제공 중이다. 많은 영역에서 빅데이터를 응용한 서비스를 제공할 수 있다, 물론 빅데이터 전문가 집단과 함께. 국제적인 시장조사 업체는 규모의 측면에서 자체적으로 빅데이터를 다룰 수 있다, 그러나 기업이 필요로 하는 내용 전문가는 없기 때문에 내용 전문가인 전문 경영 컨설턴트가 포함된 빅데이터 팀과 함께 기업 서비스를 개발할 수는 있다. 소수의 시장조사 업체 대부분은 빅데이터 이전의, 지금도 유용하게 쓰이고 있는 전통적인 마케팅 조사 방법인 ‘설문조사’의 국제적인 네크워크를 갖고 있다. 이들은 향후 빅데이터 전문가 집단과 빅데이터와 연계 서비스를 제공할 수 있다. 無知란 가장 큰 죄다. 기업과 기관이 이들과 독립적으로 빅데이터 프로젝트를 진행한다면 의사결정권자가 경영 대학원 로비에서 나누는 격의 없는 토론이나 이사진 급이 사우나에서 나누는 농담을 생각하는 편이 좋다. 진지하게 예산 까지 집행한다면 프로젝트는 재앙의 본보기가 될 가능성이 매우 높다.
10. IT 프로젝트 방식으로 빅데이터 프로젝트를 진행하지 말라
빅데이터 프로젝트는 경영 컨설팅의 일부이다. 빅데이터 프로젝트는 빅데이터를 잘 아는 경영 컨설턴트, 빅데이터를 잘 아는 마케터, 빅데이터를 잘 아는 IT 기획자, 빅데이터를 잘 아는 통계 전문가, 빅데이터를 잘 아는 시스템 엔지니어, 빅데이터를 잘 아는 전문 프로그래머, 빅데이터를 잘 아는 디자이너가 필요한 일이다. 조직에 상주하며 조직의 정치적 도구로 사용되는 IT 프로젝트 방식은 빅데이터가 목표로 하는 혁신의 방식과 가장 멀다. 빅데이터 프로젝트는 대학, 각종 협회, 담당자의 정치적 야망과는 상관이 없는 공동의 참여에 의한 학습과 연구를 필요로 하는 프로젝트다.
이미지: Designed by Freepik
