3. 빅데이터 시대는 언제 열렸나?
[In DATA] 빅데이터-AI 활용 커뮤니케이션 전략 시리즈
[Bflysoft X The PR] 빅데이터-AI 활용 커뮤니케이션 전략에 대한 전문가 칼럼을 출간합니다.
- 비플라이소프트 미디어빅데이터 분석 연구소 이경락 소장
[In DATA] 1890년 미국 인구조사서 시초
AI가 급격히 발달하며 마케팅 측면서 들여다봐야
출저: The PR(http://www.the-pr.co.kr)바야흐로 AI와 빅데이터의 시대이다. 정부가 ‘제4차 산업혁명 시대’를 산업 진흥의 화두로 던지면서, 많은 사람들의 마음속에 ‘빅데이터를 제대로 다루면 새로운 먹을거리가 창출되고, 기존의 생산 방식을 혁신적으로 개선할 수 있을 것이라는 기대가 자리 잡게 됐다.
그런데 이 빅데이터의 정체에 대해서 정확히 파악하고 있는 경우는 많지 않다.
일반적으로 빅데이터는 단순히 ‘엄청나게 방대한 데이터’ 정도로 인식되는데, 그 외에도 여러 가지 맥락이 접합될 필요가 있다. 예를 들어 IT 기업이 투자 유치를 위해서 본격적으로 사용한 마케팅 맥락이라든가, 세계경제포럼에서 언급되면서 관심이 증대됐던 것과 같은 맥락이다.
웹 2.0을 비롯해 IT 분야의 많은 개념어가 학문적 정의가 아니라 마케팅적 화두에서 던져졌듯, 빅데이터 역시 마찬가지이다.
빅데이터란 무엇인가?
우선 지금 시점에서 빅데이터의 구체화된 개념을 보면, 빅데이터는 ‘너무 커서 한 대의 서버에 담을 수 없거나, 너무 구조화돼있지 않아서 열과 행으로 된 데이터 베이스에 맞지 않거나, 너무 연속적으로 유입되기 때문에 정적인 데이터 웨어하우스에 맞지 않는 데이터’ 혹은 ‘그로부터 가치를 추출하고 결과를 분석하는 기술’을 의미한다.
그래서 어떤 이들은 빅데이터의 시초를 1890년 미국 인구조사 때로 보기도 한다. 미국의 인구가 6000만이 넘었던 시기에 기존 방식이라면 10년이 넘게 걸릴 일을 천공 카드(punch cards)라는 데이터 처리 기술로 2년 6개월 만에 마칠 수 있었기 때문이다. 이때 천공 카드를 발명한 허먼 홀러리스(Herman Hollerith)는 1896년에 차후 IBM이 되는 TMC(Tabulating Machine Company)를 설립하게 된다.
다만 이 당시에는 빅데이터라는 용어가 사용되지는 않았다. 빅데이터라는 20세기 말에 돼서야 사용되기 시작했는데, 용어의 기원을 찾는 시도는 단순히 ‘big data’라는 표현을 사용한 것에서 시작하지 않는다.
이와 관련해서는 2012년에 뉴욕 타임즈의 스티브 로흐(Steve Lohr)의 두 기고문에서 어원과 화용론적 측면에서 접근한 바가 있다. 그에 따르면, 빅데이터라는 표현의 단순한 용례는 이미 1989년에 있었다.
에릭 라르손이라는 작가가 워싱턴 포스트의 ‘하퍼스 매거진(Harper’s Magazine)’에서 “빅데이터를 보관하는 사람들은 소비자의 이익을 위해 그렇게 한다. 그러나 데이터는 원래 의도된 것 이외의 목적으로 사용되기도 한다”고 언급한 것이다.
이 기사는 정크 메일이 사서함에 도착해 직접 마케팅 업계로 어떻게 넘어가는지에 대한 궁금증에서 나온 내용인데, 사실 지금 우리가 알고 있는 빅데이터의 개념과는 맞지 않는 부분이 있다.
화려한 옷 입은 빅데이터
실제로 지금 인식하고 있는 빅데이터, 즉 데이터의 양(Volume)뿐만 아니라 데이터 생성 속도(Velocity), 형태의 다양성(Variety) 특성, 나아가 가치(Value)나 복잡성(Complexity)을 포함하는 개념으로 통용된 것은 1990년대의 존 매쉬(John Mashey)로부터 찾을 수 있다.
당시 실리콘 그래픽스(Silicon Graphics)라는 새롭고 방대한 데이터를 다루면서 각광받는 회사였다. 매쉬가 빅데이터 개념을 만들어냈다는 학술적인 논문은 없다. 하지만 그가 1990년대 중후반에 그는 수많은 소규모 모임에서 빅데이터의 개념을 설명하고 회사의 투자 설명에서도 활용한 기록은 남아 있다.
그가 1998년에 쓴 ‘Big Data and the Next Wave of Infrastress’를 포함한 다양한 빅데이터 관련 이슈들이 ‘Usenix’와 같은 전문 사이트에 남아 있다. 다만 매쉬는 “나는 이슈들의 범주를 위해 하나의 이름을 사용했고, 컴퓨팅의 경계가 계속 발전하고 있음을 전달하는 가장 간단한 짧은 문구를 원했다”라고 밝혔다.
이처럼 개념화된 빅데이터가 본격적으로 현재와 같은 위상으로 부각된 것은 2008년부터이다. 2008년 말 빅데이터는 미국의 컴퓨터 과학 연구자 그룹인 CCC(Computing Community Consortium)의 주요 연구 주제로 채택되었다. 이때 CCC는 ‘빅데이터 컴퓨팅: 상업, 과학 및 사회에서 혁신적인 돌파구 창출(Big-Data Computing: Creating Revolutionary Breakthroughs in Commerce, Science and Society)’이라는 백서를 발간하게 된다. 저명한 컴퓨터 과학자가 참여한 이 백서는 향후 빅데이터 발전에 큰 영향을 주게 된다.
2012년은 빅데이터의 개념, 용어, 마케팅 도구로서의 개념이 교차한 해로 인식된다. 빅데이터는 기술 영역의 주변부에서 주류로 확산됐고 여러 산업적 가치를 인정받았다. 다보스 포럼이(World Economic Forum)이 ‘Big Data, Big Impact’라는 제목의 보고서와 함께 이 내용을 핵심 주제로 다뤘고, 미국 연방 정부가 빅데이터 컴퓨팅을 위해 2억 달러 규모의 연구 프로그램을 발표하기도 했다.
다만 이 시기 이후로 빅데이터는 보다 마케팅적인 측면에서 이해되기 시작했다. 돈이 돌기 시작하면서부터 기존의 연구 영역에서 확대된 주제들이 빅데이터의 범주로 들어오기 시작했다. 물론 이 과정에서 빅데이터에 대한 분석이 많은 기업들에게 인사이트를 주었음은 물론이다.
특히 AI 기술이 급격하게 발달하면서 일종의 학습데이터로서 빅데이터의 가치는 더욱 높아졌고, 빅데이터는 산업적으로 계속 확장하고 있다. 규정과 범주를 명확하게 하고자 하는 학계에서 여전히 빅데이터 본질에 대해서는 논란이 있지만, 빅데이터가 입고 있는 마케팅의 옷은 그 어느 파티보다 화려하다. 어쩌면 지금이야말로 빅데이터와 춤을 추면서 자신을 뽐낼 시기일지 모른다.
지금이 빅데이터의 시대이다.
출처 : The PR(http://www.the-pr.co.kr)
https://brunch.co.kr/@bflysoft1117/66
https://brunch.co.kr/@bflysoft1117/72
https://brunch.co.kr/@bflysoft1117/126
https://brunch.co.kr/@bflysoft1117/149
