빅데이터 사용설명서
데이터가 경쟁력이 되는 시대
[ 글을 시작하기 전에 ]
인생에서 성공을 거두려면 어느 정도 운이 있어야 한다는 말이 있다. 그렇다면 운이란 무엇일까?
운이란 준비가 기회를 만날 때 일어나는 것이다. 고대 로마의 철학자이자 정치가 루키우스 세네가가 한 말이다.
이 시대에 맞는 준비를 하고 있으면, 이 시대에 맞는 역량을 키우고 있으면 그런 역량을 발휘할 기회는 반드시 온다.
즉 준비되어 있으며 성공에 한 걸음 더 다가갈 수 있는 것이다.
그렇다면 빅 데이터 시대에는 무엇을 준비해야 할까?
첫째는 이 시대가 어떤 역량을 갖춘 인재를 요구하는지 잘 알아야 한다. 둘째는 그런 역량을 갖추기 위해 어떤 노력을 해야 하는지 잘 파악해서 실천해야 한다.
그럼 위의 두 가지는 어떻게 준비해야 하는지 한 번 알아보도록 하자.
Ⅰ. 빅데이터의 출현 배경
빅데이터 출현 배경에는 소셜 미디어, 센서, 모바일 기기가 주도하는 데이터 폭증이 있다.
사물인터넷의 확산과 그에 따른 센서 활용이 전방위적으로 확대된 것이 데이터 폭증의 주범이다.
센서는 사람의 오감을 주로 전자적으로 본떠서 만든다. 다양한 센서는 소리, 온도, 압력, 유량, 자기/빛 감지, 열, 빛, 온도, 압력, 소리 등의 물리적 양이나 변화를 감지하고 필요한 경우에는 그에 따라 반응한다.
현관의 자동 점멸등, 저녁이 되면 켜지는 가로등, 유료 주차장의 차량번호 인식, 고속도로 요금소의 하이 패스 등이 생활 속에서 쉽게 마주하는 사례이며, 실제로는 다양한 산업에서 광범위하게 활용되고 있다.
모바일의 핵심은 손 안에서 손쉽게 처리가 가능하게 하는 모바일 컴퓨터, 웨어러블, 워치 등 모바일 디바이스의 발전이다.
즉 사람들이 이제는 시간, 공간, 장소 제약 없이 모바일 기기로 모든 것을 처리하면서 자기 행동에 대한 엄청난 흔적을 남긴다.
전에는 숫자와 텍스트는 물론 이미지와 동영상 등을 포함하는 엄청난 양의 데이터를 저장하는 데 비용이 매우 많이 들었다.
예를 들어 1980년대 초 1기가 바이트 데이터의 저장 비용은 10억 원이 넘을 정도였다.
하지만 데이터 저장 비용은 급격하게 줄어들어 2000년대 초반에는 100원 정도로 낮아졌고 현재는 10원 이하로 낮아졌다.
저장 비용이 줄어들고 데이터 처리 기술이 발달하면서 데이터 처리 속도 또한 비약적으로 빨라졌다. 특히 분산처리 기술이 등장하면서 초대형 컴퓨터가 하던 일을 저가형 PC 수십 대를 병렬적으로 연결해 처리하자 빅데이터 처리 시간과 분석 시간이 획기적으로 단축되었다.
요약하면 소셜 미디어, 센서, 모바일 기기가 주도하는 데이터의 폭증과 데이터 저장과 처리 기술 발달이 빅데이터 출현의 배경이라고 할 수 있다.
Ⅱ. 이상 탐지와 예측의 차이점
어제는 역사이고 내일은 미스터리다라는 말이 있다. 예측은 미래라는 미스터리에 대한 실마리를 얻으려는 것이다. 기업은 수많은 의사결정을 하고 규모가 커질수록 비효율적으로 되며 자원을 낭비하는 경향이 있다.
하지만 미래를 엿볼 수 있는 예측으로 완전히 새로운 경쟁력을 갖게 된다. 선태권이 더 넓어지고 정확해지기 때문이다.
빅데이터 시대에 기업에서 예측 분석이 크게 늘어난 이유는 세 가지로 설명된다.
첫째는 데이터가 엄청나게 증가하고 있다는 것이다. 둘째는 클라우드 등 하드웨어와 오픈 소스인 소프트웨어 설루션의 개선으로 예측 분석이 쉬워졌다는 것이다.
셋째는 예측 분석의 중요성을 잘 인식해 예측 기술이 제대로 수용하고 활용하려는 기업문화가 확산되었다는 점이다. 이제 기업에게 예측 분석은 선택이 아니라 필수가 되었다.
예측 분석이 비즈니스 하는 방식을 업그레이드 하는 수단이자 차별적 경쟁력을 제공하는 도구로 비즈니스 판을 급격하게 바꾸고 있다.
예측의 첫걸음은 과거 데이터로 학습하는 것이다. 어제의 데이터를 통해 교훈을 얻으면 미래의 기회를 찾아낼 수 있다.
예측은 과거 데이터를 바탕으로 무슨 일이 왜 일어났는지 모델링해서 미래의 여러 가능성에 대한 확률을 계산하는 것이다.
다시 말하면 모델을 바탕으로 이벤트가 발생한 패턴을 추출해 검증한 다음 그 모델을 그대로 새로운 데이터에 적용해 유사한 이벤트가 일어날지 예측하는 것이다.
따라서 진단 분석, 즉 무슨 일이 왜 일어났는지 우선 규명하기 위해 모형화하는 것이 중요하다.
기업 내 외부에 데이터가 넘쳐나는 빅데이터 시대에 경쟁 우위를 달성할 수 있는 안성맞춤 수단은 바로 데이터에서 인사이트를 추출하는 도구인 인공지능이다.
인공지능을 활용한 데이터 분석을 바탕으로 고객과 시장에 대한 인사이트를 추출하고 그것을 바탕으로 현명한 의사결정을 할 때만 지속 가능한 경쟁우위를 창출할 수 있다.
더욱이 저성장 속에서 경쟁이 더욱 격화되는 현시점에서는 경험이나 감이 아니라 데이터 분석에 근거해 의사 결정하는 것은 매우 중요하며, 이제 데이터 분석에 근거하지 않은 의사결정은 내릴 가치가 없다.
Ⅲ. 앞으로 벌어질 상황을 예측
사람들이 아침에 어떤 뉴스를 검색해서 읽고, 출근하고, 일하고, 먹고, 여행하고, 쇼핑하고 의사소통하는지 등 거의 모든 활동이 예측 대상이 된다.
앞으로 일어날 일을 예측하는 것은 개인이나 기업은 물론 국가 수준에서도 유용한 정보가 된다.
기업의 경우 소비자들의 욕구와 행동 패턴을 예측하는 것이 필수적이기 때문에 예측하고자 하는 대상은 매우 광범위하다.
사람들의 아침에 어떤 뉴스를 검색해서 읽고, 출근하고, 일하고, 먹고, 여행하고, 쇼핑하고, 의사소통하는지 등 거의 모든 활동이 예측 대상이 된다.
물론 사업 영역과 해결하고자 하는 문제의 성격에 따라 더욱 다양한 것이 예측된다.
예측 분석의 난이도는 인공지능 모델을 개발하기 위한 데이터 획득, 가공, 분석 등의 단계가 각각 얼마나 어려우냐에 달렸다.
문제를 해결하기 위해 데이터를 측정하거나 수집하기가 쉽지 않은 것은 더욱 정교한 분석과정을 밟아야 한다.
Ⅳ. 빅데이터 시대를 맞아 무엇을 준비해야 하나?
치열한 경쟁사회에서 성공하려면 무조건 열심히 하는 것 이상의 그 무엇이 필요한데, 그것은 바로 자신만의 가치와 전문성으로 차별화한 경쟁력을 갖추는 것이다.
많은 젊은이가 취업에 필요한 스펙을 갖추기 위해 대부분 직장인은 고용의 안정과 더 나은 미래를 준비하기 위해 무언가 자기 계발을 하거나 하려고 계획하고 심지어 스트레스까지 받는다.
자기 계발이 스트레스를 주는 이유는 간단하다. 자기 계발에는 많은 시간과 노력 그리고 비용이 드는 데 반해 그 효과는 더디게 나타나기 때문이다.
따라서 자신에게 알맞은 자기 계발을 현명하게 선택해 꾸준하게 집중하는 것이 매우 중요하다.
그렇다면 어떤 자기 계발을 선택해야 할까? 이를 위해서는 먼저 자기 계발 대상을 엄밀히 평가해야 한다.
업무 관련성 : 업무에서 자신을 돋보이게 할 뿐만 아니라 성과도 높일 수 있어야 한다.
차별적 능력 : 나만의 차별적 능력이자 브랜드가 될 수 있어야 한다.
투자 대비 효율성 : 자기 계발을 위한 투자에 비해 그 효과가 훨씬 커야 한다.
비용 : 다양한 방법으로 독학이 가능해서 비용이 적게 들어야 한다.
장기적 비전 : 미래에도 계속 전문성과 차별성이 확보되는 것이어야 한다.
부수효과 : 자기 계발 과정에서 창의성이 함양되는 부수효과도 있어야 한다.
위의 조건을 고려할 때에 가장 기본이 되는 것은 분석 역량을 갖추는 것이다.
분석 역량, 즉 자기 의견을 제시할 때 말로만 하는 것이 아니라 숫자를 분석한 근거를 함께 제시할 수 있는 능력을 말한다.
치열한 경쟁사회에서 성공하려면 무조건 열심히 하는 것 이상의 그 무엇이 필요한데 그것은 바로 자신만의 가치와 전문성으로 차별화한 경쟁력을 갖추는 것이다.
Ⅴ. 꾸준히 연습해 분석 역량 키우기
분석가에게 가장 중요한 것은 수학적 지식보다 분석적 사고와 태도로 숫자에 근거를 두고 유용한 정보를 추출하는 능력이다.
물론 이 과정에서 수학적 기량이 어느 정도 필요하기는 하지만 대부분 이미 우리가 고등학교 때까지 배운 수학적 지식으로 충분하다.
분석 전문가가 되는 데 필요한 수학적 지식의 많은 부분을 이미 안다는 자신감을 가져야 한다.
행여 모르는 부분이 나오면 그때마다 추가로 하나씩 익히면 된다.
숫자를 대하는 데 두려움 없이 친근하게 다가가는 태도는 유능한 분석 전문가가 되는 필요조건이다.
글로벌 경제 성숙기에 접어든 요즈음 각종 경제, 경영 용어와 숫자가 방송과 신문, 심지어 사람들이 간의 일상 대화에도 흔히 등장한다.
그런 용어와 숫자 중에는 잘 모르는 것들이 많은데 사람들은 별 고민 없이 무시하고 넘어가는 경우가 흔하다.
분석 전문가를 지향하는 사람들은 모르는 용어나 숫자가 나오면 절대로 그냥 넘어가지 말고 반드시 찾아봐야 한다.
호기심을 확장해야 한다.
호기심을 갖고 자꾸 파고 들어가면 하나에서 관련된 여러 개를 알 수 있어 이해의 폭이 넓어지고 지식의 양도 크게 늘어난다.
예를 들어 물가지수를 검색해서 찾았다면 거기서 그치지 말고, 그와 관련된 생활물가지수 등과 같은 내용도 함께 찾아서 동시에 이해하는 것이 효율적이다.
[ 글을 마치며 ]
데이터가 증가하는 것은 인류 역사의 발전과 무관하지 않다.
인간이 다른 동물들에 비해 더 발전된 삶을 누릴 수 있는 가장 큰 차이점이 정보를 사용하고 축적했기 때문이다.
그리고 어떤 나라가 정보를 더 많이 축적하고 활용했는가에 따라서 국가적인 발전의 속도가 달라지고 그 결과로 더 빠른 산업 발전을 이루고 영광을 누릴 수 있었다.
지금은 데이터의 축적과 활용이 국가와 기업의 한계를 넘어 개인의 차별성으로까지도 발전되고 있는 시대로 나아가고 있다.
데이터를 활용할 수 있는 방법이나 데이터를 사용할 수 있는 문턱이 매우 낮아졌기 때문이다.
여기에 데이터를 저장하는 비용과 사용하는 비용까지도 낮아지면서 데이터를 활용해서 개인의 경쟁력을 높이는 것이 그 어느 때보다 쉬운 시대라고 보인다.
예를 들어 책 한 권의 값이 집 한 채의 가격과 맞먹었다는 중세 유럽시대에는 책을 소유하는 것은 엄청난 부자가 아니고서는 불가능했다.
책을 소유하는 것을 떠나서 책을 읽는 행위를 하는 것이나 정보를 얻는 것이나 공유받는 것만으로도 기득권층에 속하는 시절도 있었다.
그런데 지금은 모두에게 데이터는 개방되어 있고 누구나 자유롭게 데이터에 접근할 수 있다.
이런 시대에 우리가 주목해야 할 것은 크게 두 가지라고 보인다.
첫 번째는 이렇게 방대하게 늘어난 데이터를 자신에게 적합한 것과 사용할 가치가 있는 것으로 구분할 수 있는 큐레이션 능력이라고 보인다.
아무리 많은 데이터가 있다고 한다 해도 정확하지 못한 데이터나 의미가 없는 데이터의 홍수 속에서 자신에게 도움이 되고 진실된 데이터를 찾아내는 능력은 데이터 분석과 활용의 기본이 될 것이다.
많은 양의 물이 있다고 해도 양질의 물을 선별하는 능력이 필요해질 것이라고 하는 것이 큐레이션의 맥락과 맞닿아 있다.
두 번째는 동일한 데이터를 접하면서도 차별화된 인사이트를 찾아내는 능력이 결국 가장 큰 차별화 경쟁력이 될 것이라는 점이다.
대표적인 예로 유가가 상승하고 있다는 소식을 접했을 때에 사람들의 이해도와 지식의 깊이에 따라 정보를 받아들이는 수준에 차이가 있을 것이다.
표면적으로 유가가 상승하고 있으니 석유 값이나 기름값이 오를 것이라고 생각하는 사람이 있다.
혹자는 유가를 사용하는 대표적인 산업들인 플라스틱 제조업이 어려워지고 일회용기의 생산업체들의 수익성이 악화될 수 있을 것이라 생각해 볼 수 있다.
이는 재활용 업계가 저유가 시대에 산업의 어려움이 있었다면 다시 고유가 시대에는 재활용품의 수요가 증가할 수 있지 않을까 하는 기대를 해볼 수 있다.
더 나아가 유가상승이 우리 사회 전반적으로 미치는 영향력을 고려했을 때 물가 상승에 더 심한 압력이 될 것이고 이는 고 인플레이션으로 나아가는 계기로 작용할 가능성이 있다고 보인다.
고 인플레이션을 억제하기 위해서 금리 인상 속도가 빨라질 수 있고 혹은 인플레이션 억제를 위해 비축유를 풀어 고유가에 대한 방어책을 만들어나 유류 세금 인하를 통해 인플레이션을 대비할 수 있지 않을까 하는 상상도 해볼 수 있다.
이처럼 데이터의 한 단면만을 보고 다른 데이터를 추가로 찾아보고 연계성을 찾아보는 인사이트를 가진 사람이 된다면 빅데이터를 잘 활용하는 사람이 될 수 있을 것이다.
이를 위해서는 꾸준히 데이터를 접하고 사회적인 현상과도 연계해서 생각해보는 연습이 필요하다.
그리고 궁극적으로는 인문학적인 소양도 갖추어서 우리의 행동 변화를 고려해본다면 빅데이터를 활용하는 충분한 능력을 가지게 될 것이라고 생각한다.
참고 도서 : 빅데이터 사용설명서
