인공지능이란 용어는 튜링이 아닌 마빈 민스키를 비롯한 학자들의 모임이었던 다트머스 회의(1955년)에서 등장했다. 마빈 민스키는 하버드와 프린스턴 대학을 거치면서 수학 박사 학위를 받았는데 사람과 기계와의 차이점에 대해서 계속 고민을 하고 있었다. 그는 박사 학위 과정 중에서 진공관을 이용해 사람의 뇌의 원리를 구현한 세계 최초의 신경망 컴퓨터 ‘SNARC’을 만들기도 했다. 하지만 당시의 컴퓨터는 엄청난 크기를 자랑하는 기계였으며 워낙 고가였기 때문에 사고 싶다고 쉽게구매할 수 있는 물건이 아니었다. 더군다나 지금의 컴퓨터처럼 다양한 용도로 활용되는 것과는 달리 계산을 빠르게 해주는 기계였다.이런 상황에서 인공지능을 개발하고자 하는 인류의 첫 발걸음이 시작되었다.
최초의 상업용 컴퓨터 Univac (https://www.computer-history.info/Page4.dir/pages/Univac.dir/index.html)
1960년대 인공지능을 연구하던 학자들은 기계를 통한 추론과 탐색이 가능한지 살펴보고자 했다. 인간의 사고 과정을 하나씩 기호로 표현하는 ‘추론’과 다양한 처리 과정을 모두 하나씩 살펴보는 ‘탐색’을 컴퓨터를 통해 구현해보고자 한 것이다. 추론을 표현하는 과정에서 and, or 등의 논리를 구현하는 퍼셉트론(초기 단계의 인공 신경망)이 등장했고, 탐색을 연구하는 과정에서 미로의 출구 찾기, 하노이의 탑과 같이 선택에 따라 결과가 달라지는 문제들을 하나씩 풀어가기 시작했다. 이 외에도 컴퓨터를 활용해서 이전에 해결 못했던 대수적인 문제들도 풀어내고, 언어를 학습하기 시작했다. 그러자 20년 내에 완전한 인간의 지능을 갖춘 인공지능이 탄생할 것이라고 기대하며 사람들은 인공지능에 많은 돈을 투자했다.
하지만 기대와는 달리 이러한 인공지능은 한계를 보이기 시작했다. 한정된 상황의 특수한 문제는 풀 수 있었지만 현실적 상황의 일반적 문제는 해결하기가 어려웠다. 예를 들어 한 번씩 턴을 주고받는 게임이나 예상되는 결과의 가짓수가 한정적인 상황은 대처가 가능했지만 ‘비가 오는 날에는 어떤 옷을 입는 것이 좋을까?’처럼 응답이 예상되지 못하는 경우에 대해서는 아무 결정을 내려주지 못했다. 게다가 인간의 신경 전달 방법을 따라 구현했던 단순 퍼셉트론의 경우 XOR-Gate를 구현할 수 없다는 사실이 밝혀지면서 인공지능에 대한 한계를 절감해야만 했다. 이후 수많은 투자 및 연구기금은 더 이상 이어지지 않았고 싸늘한 인공지능의 겨울이 찾아왔다.
2) 2차 인공지능의 붐과 2차 AI Winter
사람들은 추론과 탐색을 위한 단순한 규칙의 한계를 느꼈기 때문에 다른 접근을 추가적으로 취하기 시작했다. 선택의 문제가 어려웠다면 이 부분에 대한 지식을 컴퓨터에 입력을 한 후 그 지식을 탐색하는 방법으로 우회하게 된 것이었다.
스탠퍼드에서 개발한 전문가 시스템 mycin (https://www.forbes.com/)
1970년 초에 스탠퍼드 대학에서는 전염성 혈액 질환의 환자를 진단하고 처방하는 기능을 구현한 마이신(mycin)이라는 인공지능을 개발했다. 이 마이신에는 500여 가지의 규칙이 입력이 되어 있었는데, 하나하나 질문에 차례로 답해 나가다 보면 어떤 균에 의한 감염인지를 판정해주었다. 이와 같이 지식을 입력한 후 이를 탐색하는 방식의 인공지능 시스템을 ‘전문가 시스템 (expert system)’이라고 불렀다. 신경망 이론도 개선을 조금씩 이루어갔다. 다층 신경망과 함께 기존의 XOR 논리 게이트 구현 문제도 보완이 되기 시작했고역전파 알고리즘의 개발을 통해 학습도 개선이 되었다.
하지만 이러한 전문가 시스템 및 신경망 이론의 개선은 기술 면에서는 주목을 끌만했지만 비즈니스 측면에서는 그다지 매력적이지 못했다. 전문 지식을 이끌어내려면 전문가들이 동원되어야 하는데 이 과정에서 비용도 많이 들었다. 또한 체계적으로 룰을 만들고 지식을 정리하는 것 자체도 매우 어려웠다. 비록 IT 기술이 발전해가고는 있었지만 인공지능에 활용할 만큼의 데이터가 정제되어 있지도 않았다. 심지어 당시 하드웨어의 성능으로는 신경망 이론으로 결과 하나 얻는데 3일 이상이 걸리기도 했다. 그 외에도 기계 번역의 어려움 등을 겪으면서 인공지능의 한계를 다시 절감하게 되었고, 1995년까지 불씨를 살려가던 2차 AI붐은 다시 겨울을 맞이하게 되었다.
하지만 여러 가능성을 발견하기도 했다. 무엇보다도 ‘학습’의 하면 인공지능이 똑똑해지는 효과를 발견하기도 했고 동시에 하드웨어 성능과 데이터의 한계를 절감했던 시기이기도 했다.
3) 머신 러닝의 도입, 데이터의 증가, 인터넷의 등장.
2차 AI 붐이 사그라지는 동안에도 ‘학습’의 효과에서 잠재력을 발견한 학계에서는 인공지능 중에서도 기계(machine)를 학습(learning)시키는 연구, 즉 머신러닝을 차근차근 발전시키고 있었다. 초기 머신러닝은 주로 데이터의 종류를 구분해주거나(분류) 유사한 데이터끼리 묶어주는(군집화) 기능을 했는데, 그 원리를 사람이 알려주는 게 아니라 기계가 데이터로부터 스스로 학습해낸다는 점이 기존의 탐색과 다르다. 특히 구글이 확률과 통계를 주 무기로 하여 급성장을 이루기 시작했다.
하지만 머신 러닝에도 취약점들이 발견되었다. 머신 러닝의 정밀도는 학습시키는 데이터가 중요한데 어떤 데이터를 만들어서 학습을 시켜야 하는지 판단하는 것이 어려웠다. 예를 들어서 어떠한 사람의 ‘1년간의 연봉’을 예측하는 알고리즘을 설계하려고 한다고 하자. 그러면 어떠한 데이터를 학습시켜야 할까? 직업, 성별, 지역, 나이 등등 많은 데이터의 특징이 있지만 어떠한 특징을 선택하여 학습을 시키느냐에 따라 정밀도는 크게 영향을 받는다. 이런 학습을 위한 데이터의 선택은 전적으로 사람의 영향을 많이 받을 수밖에 없다.
그나마 우리의 경험을 통해 연관관계가 잘 보이는 특징이 있다면 다행이지만 눈에 보이지 않는 인과관계나 특징은어떻게 추출할 수 있을까? 이러한 요인들 때문에 인공지능의 획기적인 발전은 2012년의 혜성과도 같은 딥러닝이 등장하기 전까지 느린 발걸음을 이어갔다.
4) 3차 인공지능의 붐. 딥러닝의 등장
2012년 인공지능 분야에서 쇼킹한 사건이 발생했다. 이 시기에 이미지 인식 분야에서 당시의 세계 최고 수준을 자랑하던 연구소들은 약 26% 내외의 오차율을 기록하고 있었다. 하지만 2012년에 열린 ILSVRC 대회에 처음 참가한 토론토 대학의 supervision 팀이 15~16%의 오차율을 기록하면서 약 10% 이상의 차이로 압도적인 1위를 차지했다. 당시에는 1년 동안 수많은 연구를 해야 겨우 1%의 오차율을 줄여나갈 수 있었기 때문에 이와 같은 압도적 격차는 더욱 주목을 받았다. 마치 세계 육상 선수권 대회 100m 달리기에서 대부분의 선수들이 엄청난 훈련을 통해 10초 내외를 기록하고 있었는데, 무명의 선수가 등장해서 혼자 6초대의 기록으로 우승을 해버린 것과 같은 일이 일어난 것이다.
ILSVRC 2012의 우승팀인 SuperVision의 압도적인 결과 (http://devfun-lab.com/857)
이와 같은 개벽은 토론토 대학의 제프리 힌튼 교수가 중심이 되어 개발한 이 마법의 알고리즘인 딥러닝, 그리고 사전 학습을 통한 데이터의 전처리 기술 때문이었다. 기존의 머신 러닝에서는 사람이 특징을 추출하고 결정을 해주어야 했지만 이러한 과정을 인공지능이 알아서 비슷한 그룹끼리 군집화를 한 후 이를 바탕으로 이미지를 분류하는 방법을 시도했다. 이제는 데이터만 넣어주면 알아서 비슷한 것끼리 모아 특징을 추출하고, 학습하고, 분석하고, 결과를 내어놓는 알고리즘이 개발이 되면서 기존 머신러닝의 한계와 오차율 또한 극복하게 된 것이다.
여기에 하나씩 처리하던 컴퓨터의 CPU를 활용하지 않고 한꺼번에 여러 계산을 나눠서 각각 연산을 할 수 있는 GPU를 사용하면서 계산 속도도 엄청나게 빨라지게 되었다. 이후 2015년 MS 팀은 GPU를 활용하여 엄청난 깊이의 딥러닝을 설계하여 정확도를 96%까지 끌어올리게 되었다. 이러한 머신 러닝과 딥러닝의 발전으로 지금의 인공지능의 토대가 완성이 되었다.