brunch

You can make anything
by writing

C.S.Lewis

by offthemesh Feb 16. 2018

인공 지능 - 왜 뉴스거리인가?

데이터/자료 관리자를 위한 인공 지능 시리즈 (1/4)

지금 3-40대 중에 어릴 때 로봇 만화나 영화, 혹은 장난감을 접하지 않은 분들은 거의 없을 거라 생각합니다. 과학 소설에는 어떻게든 편리한 삶 또는 일터를 표현할 때에 자동화된 기능이 부드럽게 문을 열어주고, 며칠 후의 하루 일정을 대화를 통해 관리해주며, 집에 있는 시간 동안만 불이 켜져 있는 정도는 거의 보편화된 모습을 묘사합니다. 당연히 이것들은 오래전부터 사람이 또 다른 사람을 위해서 일해줄 수 있는 부분이며, 요즘에는 사람이 필요 없이 자동화 가능케 하는 제품들이 부분적으로라도 시판 가능한 현실입니다.

딥러닝 및 인공 지능 (AI)은 과학 소설을 넘어 이제는 인터넷 및 기업 컴퓨팅의 최첨단이 되었습니다. 클라우드에서 더 많은 컴퓨팅에 액세스 하고, 얼마 전까지만 해도 전문가들만 손대던 여러 알고리즘을 데이터 관리 종사자라면 정교하게 발전시키는 기회도 있으며, 기업과 사회적 자금 지원을 통해 5년 전만 해도 상상할 수 없었던 새로운 가능성을 엿보기도 합니다. 그러나 풍부한 데이터 소스가 없거나, 가용성이 낮다면 딥러닝을 현실화시키는 것은 힘들 수밖에 없습니다. 이 4부로 구성된 블로그 시리즈에서는 딥러닝을 탐구하고 사업상 문제에 대한 딥러닝을 성공적으로 적용하기 위해 필수 요소인 데이터베이스 역할에 대해 설명하여 여러 사업체에 좀 더 심층적인 대화를 가능케 하길 목표로 합니다.

- 오늘 1부에서는 인공 지능의 역사를 살펴보고, 왜 지금 뜨고 있는지

- 2부에서는 인공 지능, 머신 러닝 (기계 학습), 딥러닝의 차이점에 대해 설명하고

- 3부에서는 새로운 프로젝트를 위한 데이터베이스를 선택할 때 딥러닝 핵심 고려 사항에 대해

- 4부에서는 제가 NoSQL 시스템을 딥러닝에 사용하는 설명과 함께 예제를 다루려 합니다.

인공 지능: 이제까지의 역사

우리는 인공 지능 (AI)이 진정한 잠재력의 표면을 긁기 시작하는 시대에 살고 있습니다. 인공 지능은 산업을 혼란에 빠뜨릴 뿐만 아니라 작업장을 변화시킬 가능성을 만들기도 하며, 사회의 큰 도전 과제 중 일부를 해결할 방법을 도울 수 있습니다. 쉬운 예로, 자율 차량은 수만 명의 생명을 구할 수 있으며, 노약자와 장애인을 위한 이동성을 향상할 수 있습니다. 의학 쪽으로는 생명을 연장하는 맞춤형 치료법을 좀 더 포괄적으로 계획할 수 있습니다. 스마트빌딩은 탄소 배출을 줄이고 에너지를 절약하는 데 도움이 될 수 있습니다. 이것들은 AI가 약속한 잠재적 이익의 일부에 지나지 않으며, 제한적으론 이미 제공되기 시작한 부분들이 있습니다.

Gartner는 2018 년까지 기계가 모든 비즈니스 콘텐츠의 20%를 작성하고 60 억 개의 IoT 연결 장치가 대량의 데이터를 생성할 것으로 예측하기도 했습니다. 이런 수치가 얼마나 정확하냐는 의문이 들 수 있고, 사실 정확도는 큰 상관이 없습니다만 이런 추세를 이해하는데 AI는 필수적입니다. AI는 과학 소설/영화에만 국한되지 않으며, 인공 지능 및 기계 학습 전문가들은 실제 적용/채택 비스니스 모델들을 찾아서 맞춰 나가고 있습니다.

인공지능의 아버지 - 튜링

인공 지능은 Alan Turing이 1950년 "Computing Machinery and Intelligence" 논문을 쓴 이후로 많은 사람들에게 꿈이 되어 왔습니다. 튜링의 논문에서 그는 "기계가 생각할 수 있는가?"라는 근본적인 질문을 하고 컴퓨터가 인간과 의사소통할 수 있는지 여부를 고려했습니다. 인공 지능 분야의 탄생은 1956년 여름에 다트머스 대학 (Dartmouth College)에서 한 연구원이 컴퓨터처럼 인간을 행동하도록 프로그래밍하는 일련의 연구 프로젝트를 시작했을 때부터 시작되었습니다. 그리하여 다트머스 대학에서 처음으로 "인공 지능"이라는 용어가 만들어졌고 연구 영역을 형성하기 위해 구체화되었습니다.

대중문화를 통한 사회적 인식

다음 10 년 동안 인공 지능의 발전은 새로운 알고리즘의 진보가 현대 기술의 한계로 인해 제한되어 붐과 흉상 주기를 경험했습니다. 1968년의 공상과학 영화 2001 : A Space Odyssey는 인공 지능 컴퓨터 (HAL 9000)가 "미안해요 데이브, 나는 그렇게 할 수 없어요"라는 유명한 대사로 AI는 지울 수 없는 인상을 대중에게 남겼습니다. 또한 1970 년대 후반, 영화 스타 워즈 (Star Wars) 시리즈물은 인공 지능 로봇 (C-3PO 및 R2-D2)의 듀오가 은하계를 구하는데 도움을 주었을 때 대중문화에서 AI를 향한 바람을 더욱 확고히 했죠.

연구 발전과 적용

그러나 AI가 공상 과학 지식에서 실제 적용 가능성으로 전환되기 시작한 것은 20년 이후였습니다. 1997년 IBM의 딥 블루 체스 프로그램이 세계 챔피언 게리 카스파로프 (Garry Kasparov)를 상대로 승리한 것을 시작으로, 연구원들은 인공 지능의 적용 자체에 집중하기 시작했으며 이미지 인식 및 연설과 같은 실제 응용 시나리오에 이를 활용했습니다. 또 연구원들은 전문가의 지식/행동에 의해 결정된 논리 규칙을 구조/구체화하는 전문가 시스템 (Expert System) 대신 알고리즘이 논리 규칙 자체를 어떻게 습득할 수 있는지 연구하기 시작했습니다. (전방/후방/혼합적 추론 방법 의존도를 낮추고 자료에 기초한 규칙 학습을 중점으로)

이러한 추세는 연구 중심을 인공 신경망 (Artificial Neural Networks - ANN)으로 전환하는 데 도움이 되었습니다. 1940 년대에 처음 개념화된 ANN은 인간의 뇌가 어떻게 학습하는지를 따라 하기 위해 고안되었습니다만, 실질적으로는 구현하기 쉽지 않았습니다. 너무 많은 순열/군 필요로, 그 시대의 기술로는 하나의 문제에 대해 너무 많은 자원을 사용케 했었습니다. ANN은 1986년에 오차 역전파법 (혹은 오류 역전파 알고리즘) 개념이 개선되면서 부활했습니다. Backpropagation 방법은 ANN에 필요한 많은 수의 순열을 줄여 인공 지능 교육 시간을 줄이는보다 효율적인 방법이었습니다.

실용 가능화: GPU

하지만 알고리즘의 발전에도 불구하고 기술의 한계로 수십 년 동안 채택에 어려움을 겪었고, 2000 년대 중반이 되어서야 AI의 진전이 다시 시작되었습니다. 2006 년 토론토 대학 (University of Toronto)의 제프리 힌튼(Geoffrey Hinton)은 ANN을 수정하여 '심층 학습' (딥러닝/deep learning / deep neural networks)이라고 불렀습니다. 힌튼은 ANN에 여러 층를 추가하고 각 층의 결과를 수학적으로 최적화하여 더 빠르게 스택(층의 쌓임)에 축적되도록 했습니다. 2012 년 스탠퍼드 대학의 앤드류 응 (Andrew Ng)는 심층 신경망을 조잡하게 구현할 때 그래픽 처리 장치(GPU)를 사용하여 딥러닝을 한 단계 더 진행했습니다. GPU는 여러 작업을 동시에 처리할 수 있도록 설계된 수천 개의 코어로 구성 가능한 대규모 병렬 아키텍처를 가지고 있기 때문에 GPU 클러스터는 범용 CPU보다 훨씬 빨리 모델을 학습할 수 있습니다. 기존 CPU를 사용하여 모델을 생성하는 데 몇 주가 걸리는 대신 GPU를 사용하여 동일한 작업을 하루 안에 수행할 수 있었습니다.

근본적으로 현재 AI가 겪고 있는 급속한 발전은 수십 년 동안 서로 조금씩 발전되어온 소프트웨어 알고리즘의 발전과 고성능 하드웨어의 결합을 기반으로 시작된 것입니다.

인공 지능이 '핫'한 이유

기업이건 전문가이건, AI를 이제 신경 써야만 하는 요인은 네 가지로 정리해 볼 수 있습니다:

1. 데이터의 증가

기계가 학습하기 위해선 엄청난 양의 데이터가 필요하며, 사회의 디지털화로 생성되는 자료들은 이 필요 수치를 채울 원료인 셈입니다. Internet of Things (IoT) 센서, 소셜 및 모바일 컴퓨팅, 과학 및 학계, 건강 관리 및 수도 없이 많은 새로운 응용 프로그램 등에서 생성되는 빅 데이터는 AI 모델을 학습하는 데 사용할 수 있는 데이터이고요. 당연히 AI에 가장 많은 투자를 하는 기업들 - 아마존, 애플, 바이두, 구글, 마이크로소프트, 페이스북 - 등은 가장 많은 데이터를 보유한 곳들입니다.

2. 저렴해진 계산 기능 (컴퓨팅)

과거에는 인공 지능 알고리즘이 향상되었지만 하드웨어는 제약 요인으로 남아있었습니다. 최근 GPU를 중심으로 한 하드웨어 및 새로운 계산 모델의 발전으로 인해 AI의 채택이 가속화되었습니다. GPU는 1) 높은 수준의 병렬 작업을 처리하고 2) 효율적인 방식으로 행렬 곱셈을 수행하는 능력이 심층 학습 알고리즘의 반복적인 특성에 필요하기에 AI 커뮤니티에서 인기를 얻었습니다. 물론 CPU 역시 AI 응용 프로그램에 대해서도 발전했습니다. 최근 Intel은 Xeon 및 Xeon Phi 프로세서에 새로운 병렬 학습 지침을 추가하여 병렬화 및 매트릭스 계산을 보다 효율적으로 수행할 수 있게 되었습니다. 이는 소프트웨어 개발 라이브러리의 향상된 도구 및 소프트웨어 프레임 워크에 상향을 예측할 수 있게 하죠. 이제 하드웨어 벤더들은 인공 지능 전용으로 개발된 제품을 개발, 설계 및 제조하는 데 필요한 대규모 자본 비용을 정당화하고 있고, 거기에 따른 칩 요구 사항을 가지고 있습니다. 따라서 하드웨어 설계, 성능 및 전력 사용 프로파일이 향상되었으며, 계산 기능의 가격이 하락되는 결과를 가져옵니다.

3. 더 정교한 알고리즘

더 높은 성능의 저렴한 컴퓨팅은 연구자가 과거의 하드웨어 제약으로 인해 제한받지 않기 때문에 고급 알고리즘을 개발하고 교육할 수 있게 합니다. 결과적으로, 딥러닝은 이제 놀라운 정확성으로 특정 문제 (예를 들어, 음성 인식, 이미지 분류, 필기 인식, 사기 탐지)를 해결하고, 보다 진보된 알고리즘은 인공 지능에서 최첨단 기술을 계속 발전시킬 것입니다.

4. 광범위한 투자

지난 수십 년 동안 AI 연구 및 개발은 주로 대학 및 연구 기관에만 국한되었습니다. AI와 관련된 문제의 어려움과 결합된 자금 부족은 진전 부족을 가져왔습니다. 하지만 오늘날 AI 투자는 더 이상 대학 실험실에 국한되지 않고 정부, 벤처 기업, 인터넷 거인 및 모든 산업 분야의 대기업 등 많은 분야에서 널리 정당화되고 있는 상태입니다.