세상을 읽는 새로운 언어, 빅데이터

빅데이터라는 말은 최근 몇 년간 수없이 들어서 익숙한 말이지만 정확히 빅데이터가 무엇인지 또한, 그 잠재력에 대해서 생각해 볼 기회는 없었다. '세상을 읽는 새로운 언어, 빅데이터' 이 책은 데이터 사이언티스트이자 정부 공공데이터전략 위원회 공동 위원장인 서울대 조성준 교수가 일반인들이 빅데이터에 대해 이해하고 그 현황에 대해 파악할 수 있도록 쓴 책이다.

빅데이터가 무엇이고 현재 어떻게 활용되고 있으며 마지막에 데이터 사이언티스트와 현업의 의사결정자들이 어떻게 협업해야 하는 지 저자의 비유가 알기 쉽도록 되어있다. 아쉬운 점은 빅데이터로 앞으로 세상이 어떻게 변해갈지 저자의 ‘관점’ 혹은 ‘상상’에 대한 부분인데 개인적으로는 이러한 비전 내지 협박(?)이 추가된다면 좀 더 생생한 내용이 되지 않을까 생각한다.

빅데이터는 인공지능의 뇌다.

머신러닝이나 인공지능 이론은 이미 1970년, 80년대에도 존재했지만 그 때만 해도 분석할 빅데이터가 없어 한 동안 ‘소외된’ 학문이었다고 한다. 하지만 최근 들어 스마트폰, 소셜 미디어, 사물 인터넷 등이 만들어 내는 어마어마하고 다양한 양의 데이터와 그리고 이를 처리할 컴퓨터 계산능력이 획기적으로 발전하면서 빅데이터와 인공지능은 4차 산업혁명의 기반기술이 되고 있다.

급격히 다량으로 쏟아지는 빅데이터는 인공지능을 키우는 필수적인 재료이다. 인공지능의 구현방식은 크게 2가지로 나눌 수 있는데 컴퓨터에게 명제를 주는 연역적 추론 기반의 ‘지식 기반 인공지능’과 마치 사람처럼 컴퓨터에게 여러 장의 사진과 같은 데이터를 반복적으로 보여줌으로써 자연스럽게 의자를 인지하고 개와 고양이를 구분하게 만드는 귀납적 추론 기반의 ‘머신러닝’ 혹은 ‘기계학습’이다.

이 머신러닝을 위해서는 충분히 많은 양의 데이터와 이를 반복적으로 보여주고 수정하는 아주 빠른 컴퓨터가 필요하다. 알파고는 수십만 개의 기보를 수 개월 동안 학습시킨 결과이고, 자율 주행차는 수십억 가지의 상황을 빠르게 학습시키기에 가능하다.

빅데이터로부터 특정 인사이트를 도출하는 과정을 분석이라고 하는데, 분석을 하는 방법에는 통계, 시각화, 데이터 마이닝, 인공지능, 머신러닝 등 다양한 방법이 존재한다.

빅데이터의 이용사례 중에 기업의 실적 컨퍼런스 콜을 분석해 향후 이 기업의 주가를 예상하거나 투자 여부를 결정하는 것이 흥미로웠다. CEO와 애널리스트들이 무슨 대화를 나누었는지 자연어 처리기술을 통해 텍스트를 분석해 주가를 예측하고자 한 것이다. 또한, 비관적인 질문에 대해 CEO의 답변이 편안한지 흥분하는 지 말이 빨라지는 지 음성까지 분석해 주가 예측에 활용하는 경우도 있다고 한다.

마케팅 역시 제품 출시 이후 고객의 반응을 재빨리 체크하고 모니터링하는 게 중요한데 실적 컨퍼런스 콜의 경우처럼 웹사이트 및 소셜 미디어, 각종 스토어에 흩어져 있는 소비자의 후기를 한데 모아 실시간으로 분석해 고객의 반응을 많이 언급되는 단어, 긍정, 부정 뉘앙스까지 기간별로 알 수 있으면 좋겠다는 생각이 들었다.

빅데이터를 요리하는 단계

냉면이 먹고 싶어 식당에 갔는데 칼국수를 준다면 100% 실망할 것이다. 저자의 비유에 따르면 데이터 사이언티스트가 쉐프라면 마케팅, 기획, 영업,  HR과 같은 현업의 의사결정자들은 요리를 먹는 손님이다. 그리고 요리는 바로 빅데이터를 분석해 만들어 낸 인사이트이다.

어떤 비즈니스 가치를 만들기 위해 어떤 인사이트가 필요하다고 가르쳐 주지 않고 머든지 분석해 보라고 하는 것은 그냥 내가 맛있게 먹을 수 있는 것을 만들어 오라는 것과 같다는 것이다. 물론 오마카세가 있는 가게도 있지만? 그 외의 경우 손님이 먹고 싶은 것을 어찌 알 수 있겠는가? 많은 경우 기획이 없는 빅데이터 분석은 데이터 사이언티스트와의 협업을 나쁜 경험으로 만든다.

마치 쉐프가 되려면 요리학교에 몇 년 다녀야 하지만 이탈리안 레스토랑에 가서 정확한 주문을 할 수 있는 고객이 되려면 백화점 문화센터 이탈리안 쿠킹 4주 과정으로 충분한 것과 같다. 많이 먹어봐야 내가 원하는 요리를 주문할 수 있다. 의사결정자들은 빅데이터 및 애널리틱스 교육을 통해 그 과정에 대한 이론적 이해와 실제 분석을 경험해 봐야한다. 그래야 빅데이터 분석에 앞서 기획을 하고 인사이트 검증도 하고 자신있게 인사이트 기반 실행을 할 수도 있다.

빅데이터 분석을 통한 가치 만들기 과정 (책의 내용 재구성)

누구나 데이터 리터러시(Data Literacy)를 가져야 한다는 말

저자가 말하는 의사결정자의 빅데이터 분석에 대한 이론적 이해와 실제 분석이란 확률, 통계의 기본적인 개념을 이해하고 ‘래피드마이너’와 같이 코딩없이 클릭과 드래그만으로 데이터 분석을 하는 소프트웨어를 배우고 실제 어떤 가치를 만들 것인지(매출 증대, 비용절감, 고객 충성도 등), 이를 위해 필요한 인사이트는 무엇이고 어떤 데이터를 분석해야 하는 지 분석 과정을 경험해 보는 것이다.

의사결정권자를 위한 데이터 사이언스 vs. 데이터 사이언티스트

결국 현업 담당자라면 자기가 속한 산업과 제품에 대한 이해와 함께 어떤 데이터가 어디서 나오는 지 이를 어떻게 활용할 지 데이터에 대한 이해 모두 중요하다. 그래야 데이터 사이언티스트와 협업을 하든지 더 깊게 배워서 스스로 데이터 사이언티스트가 되는 경우도 있을 것이다.

저자에 따르면 사실상 빅데이터와 인공지능을 기반으로 한 4차 산업혁명의 성공은 일부 데이터 사이언티스트가 아닌 각 분야에서 전문가로 활동하고 있는 의사결정자들의 빅데이터 기획 능력에 달려 있다.

 

회사의 특성과 각자의 처한 위치의 특성에 따라 다르겠지만 작게는 ‘문화센터 이탈리안 쿠킹 4주 과정’부터 다양한 빅데이터와 인공지능 이론을 이해하고 빅데이터를 활용해 가치를 만들어가는 경험을 하나씩 쌓아가는 게 필요하겠다.