brunch

매거진 데이터 사이언티스트가 되자

라이킷 5 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 라인하트 Sep 26. 2019

비즈니스 세계의 인공지능 (6/6)

빅데이터와 인공지능이 폭발적으로 성장하는 이유

21세기 경영전략은 데이터에서 시작된다.

토마스 데이븐포트 교수와 파틸 교수는 2012년 10월 하버드 비즈니스 리뷰에 '데이터 과학자 : 21세기 가장 섹시한 직업 (Data Scientist: The Sexist Job of the 21st Century)라는 글을 개제하였습니다. 이 글은 경험이나 감에 의한 의사 결정이 아닌 데이터에 기반한 의사결정이 중요해지는 상황을 설명했습니다. 이 글의 핵심 문장은 '향후 10년간 가장 섹시한 직업은 통계학자(데이터 사이언티스트) 일 것이다'입니다.

The sexy job in the next 10 years will be statisticians.
향후 10년간 가장 섹시한 직업은 데이터 사이언티스트이다

에릭 브린욜프슨 교수와 앤드류 맥아피 교수는 2017년 7월 하버드 비즈니스 리뷰에 '비즈니스 세계의 인공지능 (The Business of Artificial Intelligence)'이라는 글을 개제하였습니다. 이 글은 데이터에 기반한 의사 결정을 위해 비즈니스 업계에서 AI를 어떻게 활용하는 지를 설명합니다. 이 글의 핵심 문장은 '향후 10년간 인공지능을 사용하는 관리자는 그렇지 않은 관리자를 대체할 것이다'입니다.

Over the next decade, AI won’t replace managers,
but managers who use AI will replace those who don’t

향후 10년간 AI는 관리자를 대체하지 않겠지만,
AI를 사용하는 관리자는 그렇지 않은 관리자를 대체할 것이다.

두 개의 글은 데이타에 기반한 의사 결정 프로세스를 중시하는 현대 경영의 방향을 보여줍니다. 따라서, 빅데이타와 인공지능에 대한 관심이 폭발적으로 증가하고 있습니다.

빅데이터와 인공지능이 폭발적으로 성장하는 이유

빅데이터와 인공지능은 상호보완적인 기술입니다. 인공지능의 딥러닝은 방대한 데이터를 다루고, 방대한 데이터를 축적하고 관리하고 분석하는 것은 빅데이터 기술입니다. 특히 빅데이터를 분석하는 영역은 인공지능이 효과적인 성과를 낼 수도 있습니다. 갑자기 두 기술이 성장하는 이유는 무엇일까요?

폭발적인 성장의 원인은 크게 세 가지로 예를 들 수 있습니다. 데이터의 급증, 알고리즘의 발전, 컴퓨터 하드웨어 성능 향상입니다.

1) 데이터 폭발적인 증가
디지털 경제는 아날로그 경제와는 비교가 되지 않을 정도로 많은 데이터를 생산됩니다. 예를 들면, 매 1 분 동안 구글은 200만 건의 검색 결과, 유튜브는 72시간 분량의 비디오, 스카이프는 140만 건의 연결, 메일은 2억 4백만 개가 전송합니다. 또한, 스마트폰과 수많은 센서에서 정보를 끊임없이 생성합니다. 전 세계에서 생산하는 데이터량은 2025년에 170ZB(제타바이트)가 될 것으로 추정합니다.

현재 노트북의 저장용량이 1 TB (테라바이트)입니다. 1000TB는 1 PB (페타바이트)이고, 1000 PB는 1 EB (엑사바이트)이고, 1000 EB는 1 ZB (제타바이트)입니다. 1 엑사바이트는 4층 크기의 데이터센터가 처리할 수 있는 용량이고, 1 제타바이트는 1,000개의 데이터센터에 저장할 수 있는 용량입니다.

2) 알고리즘의 비약적 발전
데이터가 폭발적으로 증가하면서 분석을 위한 새로운 알고리즘이 개발되었습니다. 딥러닝 알고리즘은 기존의 머신 러닝 알고리즘과 달리 입력 데이터의 양이 증가할수록 성능이 향상됩니다. 반대로 학습 내용을 응용하면서 최적의 성능을 내기 위해 필요한 데이터의 양이 적어지기도 합니다. 알고리즘의 비약적 발전은 빅데이터를 분석하기 위해 끊임없이 발전하고 있습니다.

3) 컴퓨터 하드웨어의 발전
집적 회로의 성능은 18개월마다 두 배씩 증가한다는 무어의 법칙이 2015년까지 유지되었습니다. 무어의 법칙은 물리학의 한계로 인해 증가속도가 줄어들 것이라 예상했습니다. 하지만, 우연하게도 그래픽 처리 전용으로 개발된 그래픽 프로세싱 유닛 (GPU, Graphic Processing Unit)을 신경망 알고리즘에 적용할 경우 연산속도가 획기적으로 빨라진다는 것을 발견했습니다. 일반 CPU 보다 10배 이상으로 연산속도가 빠르고, 규모의 경제를 이루면서 GPU의 가격이 획기적으로 낮아졌습니다. 수요가 급증하면서 애플리케이션에 최적화된 칩들이 만들어졌습니다. 예를 들면, 구글의 텐서 프로세싱 유닛 (TPU)는 구글 딥마인드에서 사용합니다.

그리고, 클라우드

데이터의 폭발적인 증가, 알고리즘의 비약적인 발전 그리고 컴퓨터 하드웨어의 발전이 시너지 효과를 일으켰습니다. 발전된 하드웨어는 발전된 알고리즘을 쉽게 테스트하고 개발할 수 있는 토대를 만들었습니다. 지금으로부터 20 년 전의 하드웨어에 신경망 알고리즘을 돌린다는 것은 상상도 할 수 없습니다.

그리고, 시너지 효과를 증폭시킨 것이 바로 클라우드입니다. 지금도 생성되는 엄청난 데이터는 클라우드에 저장되고 분석되고 관리됩니다. 누구나 적은 비용으로 대기업이 제공하는 클라우드를 이용하여 빅데이터와 인공지능 알고리즘을 사용할 수 있습니다.

인공지능은 무엇인가?

인공지능 (Artificial Intelligence)은 학습을 하는 기계일 뿐 생각하는 기계가 아닙니다. 인공지능은 지도 학습, 비지도 학습과 강화 학습을 통해 학습합니다. 현재는 인공지능은 매우 제한된 영역에서 뛰어난 성능을 발휘합니다.

인공지능은 학습을 하는 기계일 뿐
생각하는 기계가 아니다.

인공지능은 극악의 단순노동에 뛰어납니다. 우체국에서 손글씨로 써진 우편번호를 인식하기 위해 MNIST 데이터셋을 통해 가중치를 계산하기 위해 28(가로 픽셀의 수)*28(세로 픽셀의 수)*10(0-9까지 숫자)*55,000 (학습할 데이터의 양)*15 (반복) = 64억 6천8백만 건의 계산이 필요합니다. 사람이라면 절대로 할 수 없습니다. 그리고 평생 같은 일을 반복합니다. 인공지능이 기계이므로 가능합니다.

최근 '소피아'라는 사람의 외형을 한 로봇에 Siri 같은 음성 비서 소프트웨어를 설치한 수준의 인공지능이 있습니다. 사람들은 소피아를 보고 두려워하기도 합니다. 언젠가 지구와 인간을 위협하는 SF 영화와 같은 상황이 올지도 모른다고 믿기 때문입니다. 인공지능 기술을 공부하는 사람들은 쉽게 이해할 것입니다. 그런 일은 절대로 일어나지 않습니다. 답은 파블로 피카소의 통찰력으로 대신합니다.