세상을 읽는 새로운 언어, 빅데이터
삶을 바꾸고 미래를 혁신하는 빅데이터 / 조성준 / 21세기 북스
4차 산업혁명 시대를 “지능화 혁명의 시대”로 정의하고 있다. 지능화 혁명이란 인공지능이 산업영역뿐 아니라 정치, 사회, 문화 전반에 걸쳐 큰 역할을 하게 될 것임을 의미한다. 인공지능의 개념은 이미 오래전부터 제시되어 왔으나, 수 십 년이 지난 오늘날에 이르러서 시대의 변화를 주도하게 된 원인은 무엇인가? 그것은 바로 데이터 때문이다. 인공지능은 데이터에 기반하여 그 효용적 가치가 결정된다. 과거에는 인공지능을 운영할 수 있을 만큼의 데이터가 생산되지 못했다. IT기술이 발전함에 따라 데이터의 생산량은 늘어났지만 이를 취합하고 보관하며, 분석할 수 있는 기술이 받쳐 주질 못했다. 그러나 지금은 이러한 모든 것들에 대한 한계가 극복되었다. 바로 빅데이터 기술의 등장이다. 그리고 빅데이터의 등장은 이론적 인공지능의 세계에서 실용적 인공지능의 세계로의 전환을 가져왔다. 인공지능은 데이터에 의해 지배된다. 따라서 데이터에 대한 주도권을 갖는 자들이 세상을 이끄는 시대가 되고 있다. 왜냐하면 이 책의 제목에서 나타난 바와 같이 그들이 바로 세상의 변화를 읽고 미래를 혁신할 수 있기 때문이다.
왜 빅데이터인가?…
컴퓨터와 인터넷 기술의 발전은 과거와는 비교가 되지 않을 정도의 데이터를 생산하기 시작했다. 그러나 생산된 데이터를 분석할 수 있는 기술은 한계가 있었다. 분석할 수 이는 데이터는 숫자 형태의 정형화 데이터에 국한되었다. 그러나 실제로 생산되는 데이터의 대부분은 이미지, 텍스트와 같은 비정형 데이터였다. 그리고 실제로 중요한 정보는 이러한 비정형 데이터에 담겨 있었다. 또한 단위 데이터 그 자체로는 가치가 미흡하다. 데이터는 다른 데이터들과 상호 연결될 때 가치를 나타나게 된다. 빅데이터 기술의 등장은 이러한 한계성을 극복시켰다. 엄청난 속도로 다양한 형태의 데이터들이 기하급수적으로 생산되고 있는 특성을 지닌 데이터가 바로 빅데이터이며, 빅데이터들은 가치를 창출할 수 있는 엄청난 정보를 품고 있다. 빅데이터 속에는 수많은 사람들의 실제의 행동과 생각 그리고 욕구가 숨겨져 있다. 누가 먼저 그것을 발견해서 비즈니스화 시키느냐가 현시대 비즈니스의 핵심이 되고 있다. 공공영역은 빅데이터 속에 담긴 국민들의 욕구와 생각을 통해 얼마나 효율적이고 생산적인 정책을 수립하고 운영하느냐가 주된 목적이 되고 있다.
데이터 사이언티스트 …
과거와 같이 특정 개인의 경험이나 통찰에 의해 의사결정을 하는 체계는 더 이상 유효하지 않는다. 비즈니스 환경 속에서 생산되는 데이터에서 인사이트를 도출하고 이를 기반으로 비즈니스 전략을 수립하는 체계를 구축하는 것이 필요하다. 데이터에서 인사이트를 도출하는 과정이 바로 분석이다. 데이터를 분석하기 위해서는 과거 숫자 데이터 중심에 활용되었던 통계기술에 국한되는 것이 아니라 비정형 형태의 데이터를 분석하기 위한 데이터 마이닝, 머신러닝, 시각화, 인공지능 등의 기술이 적용되어야 한다. 데이터 분석을 통해 인사이트를 도출하는 전문가를 데이터 사이언티스트라고 한다. 한국의 빅데이터 활용 및 운영 수준이 선진국에 비해 뒤쳐지고 있는 이유는 국내 기업이나 공공기관에 데이터 사이언티스트가 거의 없다는 점이다. 데이터 사이언티스트의 역할은 데이터 속에서 비즈니스 가치를 발견하는 것이다. 따라서 데이터 사이언티스트는 애널리스틱스 기술 전문가에 국한된 것이 아니라 현업에 대한 이해도를 보유하고 있는 에널리스틱스 기술 전문가여야 한다. 그 이유는 데이터 분석에 앞서 무엇을, 왜 분석해야 하는 지를 인지하는 것이 비즈니스 가치를 찾아내는 데 가장 중요하기 때문이다.
빅데이터… 어떻게 활용되고 있는가?
스마트 폰, 센서, 인터넷, 컴퓨터는 빅데이터 시대를 활짝 열게 만든 주된 요소들이다. 이들은 시간과 장소에 구애를 받지 않고 데이터를 생산한다. 다시 말하자면 이들 기기를 활용하는 모든 사람들은 이들 기기에 의해 그들의 모든 행동에 대한 흔적을 데이터 형태로 남기게 된다. 빅데이터의 활용에 주목해야 하는 이유가 바로 여기에 있다. 저자는 빅데이터의 활용 방안에 대해 여러 가지를 제시하고 있지만 비즈니스 관점에서 가장 핵심적인 내용이라고 판단되는 몇몇 영역에 대해 소개하고자 한다. 첫 번째는 신규 서비스 분야에 대한 비즈니스 플랫폼 구축 영역이다. 최근 플랫폼 기업들이 우후죽순으로 생겨나고 사라지곤 한다. 플랫폼 기업이 존속하기 위해서는 플랫폼 상에 얼마나 많은 빅데이터를 확보하고 이를 기반으로 서비스를 제공하고 있는 지의 여부이다. 플랫폼 상에서 빅데이터는 고객을 끌어당기는 당근과도 같은 역할을 한다. 빅데이터가 비즈니스의 근간이 되지 못하는 플랫폼 기업은 존속이 불가능하다. 두 번째는 서비스 및 상품기획에 있어서 빅데이터의 활용이다. 앞서 언급했지만 빅데이터는 궁극적으로 소비자의 흔적이다. 이러한 흔적을 통해 소비자의 생각과 요구, 그리고 성향을 사전에 파악할 수 있다. 이를 통해 소비자의 긍정적인 경험에 초점을 둔 서비스와 상품을 기획할 수 있는 것이다. 세 번째는 빅데이터를 통해 발생될 수 있는 리스크에 대한 사전 대응체계를 구축할 수 있다는 것이다. 저자는 본 서에 조기 퇴사자가 많은 기업에서 조기 퇴사자들의 활동 유형에 대한 데이터를 분석하여 조기 퇴사자의 수를 30% 이상 감소시킨 사례를 제시하고 있다. 본 서에서는 소개하고 있지는 않지만 빅데이터 분석을 통해 공급망에서 발생될 수 있는 리스크를 사전에 예측하여 이에 대한 대응방안을 사전에 수립하고 있는 케이스는 이미 보편화되어 있다. 빅데이터는 전통적 영역의 시장 구조도 변화시키고 있다. 와인은 일정기간 숙성된 후 와인 감별사가 와인 맛을 본 후 와인 등급을 결정하고 있는 것이 일반적이다. 그러나 와인과 관련된 빅데이터는 와인의 등급을 알고리즘에 의해 와인의 등급을 추정해 내고 있다. 당해 연도의 포도재배와 관련된 조건과 와인 숙성 조건 등등 관련 정보를 입력하면 수개월, 수년 후 와인 감별사에 의해 결정될 와인 등급을 바로 추정할 수 있다는 것이다.
빅데이터는 인공지능과 결합하여 우리의 삶을 더욱 크게 변화시킬 것이다. 그러나 득이 있는 만큼 얼마 간의 실도 반드시 존재한다. 향 후에는 이러한 실을 어떻게 최소화할 것인가에 대한 고민도 빅데이터의 활용에 못지않은 중요한 고민거리가 될 것이다.
빅데이터… 올바른 이해…
빅데이터가 미래변화의 핵심적인 동인임에는 반론의 여지가 없다. 따라서 이를 제대로 이해하고 활용하기 위한 노력이 필요하다. 상당 수의 데이터 분석에서 범하기 쉬운 오류가 상관관계를 인과관계로 오인하는 경우이다. 그래서 상관관계를 도출하고 분석 단계를 종료하는 경우가 적지 않다. 상관관계를 도출해 냈으면 이를 기반으로 인과관계를 찾아내야 한다. 앞서 상관관계를 도출하는 것은 분석기술을 주가 되지만 인과관계는 해당 분야의 전문성이 필요하다. 이것이 데이터 분석에 실무 전문가들이 참여해야 하는 이유이다. 빅데이터는 데이터의 연계를 통해 이루어진다. 데이터가 연계되기 위해서는 데이터의 교류가 필요하다. 그러나 실제로 데이터 교류는 제대로 이루어지지 않고 있다. 이에 대한 가장 큰 이유는 조직 간의 사일로 현상 때문이다. 사일로 현상은 빅데이터 확보에 있어서 가장 큰 장애요인 중의 하나이다. 이를 개선하기 위해서는 데이터 교류에 따른 합리적인 보상체계의 정립이 필요하다. 이를 위해서는 정부차원의 빅데이터 거버넌스 체계의 운영이 필요하다. 국가 전체 차원에서는 빅데이터이지만 활용 측면에서는 스몰데이터 수준인 명분뿐인 빅데이터는 아무런 효용가치가 없다. 궁극적으로 데이터는 소비자의 것이다. 따라서 빅데이터는 기업이나 기관의 중요한 혁신 수단이지만 데이터를 생산하고 제공하는 소비자에게 직접적인 혜택이 일어나는 선순환 구조를 갖추어야 한다.
앞으로는 데이터가 자원이 되는 시대이다. 누가 더 많은 데이터를 확보하고 운영할 수 있는지가 경쟁력의 핵심 요소가 될 것이다. 이것은 기업도 마찬가지고, 국가도 마찬가지이다. 데이터 혁신은 기술혁신과 의식혁신이 결합되어야 한다. 우리나라는 기술 영역에서는 상당 수준에 이르렀지만 의식 영역에서는 아직 상당히 미흡한 것이 현실이다. 의식혁신의 한계는 궁극적으로 기술혁신까지 정체하게 끔 만든다. 빅데이터란 말을 여기저기서 많이 들어보고 있지만 그것을 단순히 용어적 이해로만 그치고 있는 것은 아닌가? 아는 만큼 보이고 보이는 만큼 행동한다고 한다. 데이터에 기반한 지능 혁명 시대 속에 살아가기 위해 빅데이터에 대한 올바른 이해는 데이터와 관련된 의식혁명의 출발점이 될 것이다.
