인공지능의 시작과 발전
최초의 인공지능, 머신러닝과 딥러닝, 인공지능 기술의 3+1 요소
『비전공자도 이해할 수 있는 AI 지식』(2023)의 1장 「인공지능」에서 발췌하고 요약했습니다.
최초의 인공지능
1770년 오스트리아에 체스 기계 메케니컬 터크(Mechanical Turk)가 등장합니다. 체스판 뒤에 앉은 인형이 스스로 체스를 두는 자동기계로 웬만한 사람을 이길 정도로 실력이 좋아 최초로 컴퓨터를 고안한 찰스 배비지, 미국 건국의 아버지 벤저민 프랭클린, 프랑스의 황제 나폴레옹 등 당대 유명 인사들과 체스를 겨뤘죠.
이처럼 엄청난 인기를 끄는 동시에 아래와 같은 지적과 의심도 받았습니다.
당대 기술로는 복잡한 체스 게임에 필요한 판단력을 구현하는 게 기적이었음
계산에 틀리지 않는 기계라면 실수하지 않고 항상 우승해야 하는데 가끔 지기도 했음
나무 팔이 체스 말을 집어 정확한 위치에 옮기는 건 쉬워 보이지만 구현하기 어려운 일임
80여 년이 지나 드러난 이 기계의 비밀은 바로 사람이었습니다. 기계 안에 체스 마스터가 들어가 앉아서 체스를 뒀던 것이죠. 진짜 인공지능은 이로부터 200여 년 후에 등장합니다.
출처: https://en.wikipedia.org/wiki/Mechanical_Turk진짜 최초의 인공지능
1956년 다트머스대학교에서 열린 '지능을 가진 기계' 학술회의에서 인공지능(Artificial Intelligence)이라는 용어를 고안하고 사용하기 시작합니다.
인공 신경망(Artificial Neural Network)의 초기 모델인 퍼셉트론(Perceptron)도 등장합니다. 코넬항공연구소에 근무하던 프랭크 로젠블랫이 인간 두뇌가 뉴런이 서로 연결된 상태로 전기신호를 내보내며 정보를 전달한다는 데 착안해, 비슷한 형태로 인공 뉴런이 연결된 구조의 인공 신경망을 구현해낸 거죠. 하지만 풀 수 없는 문제가 많았고 복잡한 신경망을 제대로 학습할 수 있는 방법도 알지 못해 쓰임새를 찾지 못하고 잊혀져 갔습니다.
세계 최초의 프로그래머로 알려진 에이다 러브레이스가 정립한 컴퓨터 프로그래밍의 기본 개념은 규칙과 데이터를 입력해 정답을 출력하는, 알고리즘으로 대표되는 규칙과 자료구조로 대표되는 데이터의 결합입니다. 초기 인공지능 기술도 '만약 O이라면, O이다'라는 if-then 규칙을 사람이 일일이 입력해 활용했습니다. 그러나 컴퓨터 스스로 규칙을 만들어 낼 수 없고, 규칙에서 벗어나는 경우에는 제대로 된 추론도 하지 못하는 한계가 분명했죠.
머신러닝과 딥러닝
1980년대 들어 인공지능 기술에 머신러닝(Machine Learning)이라 부르는 알고리즘을 활용하기 시작합니다. 말 그대로 기계가 스스로 학습하는 방식으로 사람이 규칙을 입력하지 않아도 컴퓨터가 데이터에서 스스로 규칙을 찾아냅니다. 사람이 찾아내지 못하는 규칙도 컴퓨터가 학습을 거쳐 찾아낼 수 있으며, 변형에 따른 무수한 변칙까지도 데이터를 이용해 모두 찾아낼 수 있게 되면서 규칙에서 벗어난 결과도 추론할 수 있게 됐습니다.
스스로 규칙을 찾아내는 머신러닝의 시대가 열리면서 2010년대 들어 이미지 인식 분야에서 인공 신경망을 다시 쓰기 시작합니다. 2010년 스탠퍼드대학교는 사람이 직접 1,000개의 카테고리로 분류한 약 100만 장의 이미지와 기계가 자동으로 분류한 이미지가 얼마나 일치하는지를 겨루는 이미지넷 대규모 시각 인식 챌린지(ILSVRC)를 주최합니다. 이미지넷 대회의 정확도는 매년 1~2%씩 올라갔는데, 불과 2년 만인 2012년 대회에서 토론토대학교의 제프리 힌튼 교수팀이 무려 84.7%의 정확도를 보이며 우승을 차지합니다.
힌튼 교수팀이 사용한 방식은 컨볼루션(Convolution) 기법을 사용한 인공 신경망, 딥러닝(Deep Learning)이었습니다. (힌튼 교수팀이 창업한 딥러닝 회사 DNNresearch는 구글이 치열한 경쟁 끝에 한화 500억 원에 인수합니다.) 인공 신경망은 1950년대에 등장했다가 오랫동안 잊혔으나, 딥러닝의 꽃으로 불리는 이미지 인식 (자율주행차에서 카메라를 통한 주변 사물 인식 등) 분야에서 인간을 능가하는 성과를 보이며 오늘날 인공지능을 대표하는 알고리즘으로 적극 쓰이고 있습니다.
출처: https://www.lgcns.com/blog/cns-tech/ai-data/8864/인공지능 기술의 3대 요소① 알고리즘
딥러닝의 성과는 알고리즘의 발전에 기인합니다. 딥러닝은 머신러닝의 일종으로, 데이터와 정답을 입력하면 스스로 규칙을 찾아냅니다. 그러나 딥러닝은 머신러닝에 비해 훨씬 더 많은 데이터를 학습할 수 있고, 훨씬 더 풍부한 규칙을 찾아낼 수 있는 모델입니다.
딥러닝을 물리적인 형태로 만들어낸다면 두뇌의 뉴런 역할을 하는 다이얼이 엄청나게 많이 달린 거대한 수학 구조물과 비슷합니다. 각각의 다이얼은 원하는 출력값이 나오도록 가중치를 조절하는 역할을 합니다. 입력 데이터를 넣고 다이얼을 조절하면서 원하는 결과와 최대한 비슷하게 나오도록 확인과 조절을 반복하다가 모든 데이터가 정답에 가장 가까운 상태를 찾으면 비로소 학습이 끝나는 겁니다. 딥러닝은 많은 데이터로 정교하게 조절하고, 많은 다이얼로 풍부하게 표현할 수 있는 모델입니다.
출처: https://www.aitimes.com/news/articleView.html?idxno=152657에 쓰인 이미지 재사용그런데 이 점은 장점이자 단점도 됩니다. 조절할 수 있는 다이얼, 즉 매개변수(parameter)가 너무 많아서 어떤 작동 원리로 결론에 도달했는지 그 추론 과정을 인간이 해석할 수 없게 됐기 때문입니다. (딥러닝 언어 모델 중 하나인 GPT-3는 매개변수가 1,750억 개나 있습니다.) 해석 가능성을 매우 중시하던 인공지능 연구에서도 인공지능의 추론 과정을 분석한다 해도 이제 의미 없는 일일 가능성이 높다고 얘기합니다.
인공지능 기술의 3대 요소② 데이터
다양한 집단의 데이터가 많이 모이면 소수 전문가의 의견보다 더 정답에 가까운 결과를 얻어낼 수 있다는 대중의 지혜(The Wisdom of Crowds)라는 개념이 있습니다. 2001년 마이크로소프트의 연구자들은 충분한 데이터만 있으면 어떠한 알고리즘을 거치든 관계없이 정확도가 높아진다는 관점의 논문을 발표하는데요. 복잡한 문제일수록 좋은 알고리즘을 찾아서 문제를 해결하기보다는, 거대한 데이터의 힘을 활용해 문제를 해결하는 게 훨씬 더 합리적이라는 이 논문을 계기로 인공지능에서 데이터가 중요하다는 믿음이 널리 퍼집니다.
빅데이터는 2012년 세계경제포럼에서 떠오르는 10대 기술의 첫 번째로 꼽혔다가 거품 논란이 일었지만, 빅데이터가 아니었다면 오늘날 높은 정확도를 보이는 인공지능의 성공도 없었을 겁니다.
출처: https://aclanthology.org/P01-1005.pdf인공지능 기술의 3대 요소③ 시스템
인텔의 공동창업자 고든 무어가 1965년에 내놓은 '반도체 집적회로의 성능은 2년마다 2배씩 증가한다'는 무어의 법칙(Moore's Law)에 따르면, 2021년의 컴퓨터 시스템은 인공 신경망을 처음 실험한 1989년의 시스템 대비 65,536배 성능이 증가했습니다. 3일이 걸렸던 학습 과정을 4초 만에 끝낼 수 있다는 얘기죠. 이처럼 시스템의 발전은 딥러닝이 급속도로 발전하는 데 큰 역할을 합니다.
또 다른 시스템의 도약은 엔비디아(NVIDIA)가 제조한 그래픽 카드의 GPU(Graphics Processing Unit)에서 일어납니다. 컴퓨터의 두뇌가 CPU인 것처럼 GPU는 게임 그래픽 카드의 두뇌입니다. CPU가 성능이 좋은 비싼 코어를 몇 개 장착한 구조라면, GPU는 상대적으로 성능이 떨어지는 저렴한 코어를 엄청나게 많이 꽂아둔 형태입니다. 각각의 성능은 떨어지지만 많은 개수로 병렬연산을 수행해 전체 작업을 더 빨리 처리할 수 있습니다.
처음부터 GPU가 인공지능에 활용된 건 아닙니다. 일부 인공지능 연구자들이 인공 신경망이 대규모의 병렬연산에 적합한 구조임을 발견했고, 이는 단순한 계산을 한꺼번에 많이 처리하는 GPU의 특징과 잘 맞아떨어졌습니다. 2009년 스탠퍼드대학교에서 매개변수가 1억 개일 때 GPU를 사용했더니 70배나 더 빠르게 학습할 수 있었다는 논문을 발표한 이후, GPU는 딥러닝의 핵심 하드웨어로 폭발적인 인기를 끌게 됩니다.
출처: https://blogs.nvidia.com/blog/whats-the-difference-between-a-cpu-and-a-gpu/인공지능 기술의 또 다른 영웅, 오픈소스
오픈소스(Open Source)는 프로그램의 소스코드를 공개하는 것을 의미합니다. 마치 요리 연구가 백종원이 자신의 레시피를 공개해 요식업에서 자신의 영향력을 키우는 것과 마찬가지로, 리눅스처럼 양질의 소스코드를 오픈소스로 공유하면 사람들은 투명하게 공개된 프로그램의 기술력을 더욱 신뢰하게 되고, 그 결과 업계에 엄청난 영향력을 끼치며 시장을 장악할 수 있습니다.
그뿐만 아니라 소스코드를 공개하면 수많은 이용자가 공개된 자료로 추가 연구를 진행하거나 기술을 업그레이드 할 수 있어 해당 분야 자체가 발전하는 데도 많은 도움이 됩니다. 인공지능 분야도 오픈소스 문화 덕에 수많은 연구 논문이 무료로 등재됐고, 다양한 과학 계산 라이브러리가 등장하면서 연구자들이 복잡한 계산보다는 알고리즘에만 집중할 수 있게 됐습니다. 구글의 텐서플로(TensorFlow)와 페이스북의 파이토치(PyTorch)도 복잡한 신경망의 이해와 구현을 쉽고 직관적으로 만들어 널리 활용되고 있는 대표적인 오픈소스 딥러닝 프로그램입니다.
이렇듯 상용 소프트웨어를 능가하는 오픈소스의 등장은 기술의 발전과 사용자 수 증가를 가속했고, 인공지능 연구의 진입장벽을 크게 낮춰 엄청난 발전을 거듭하게 했습니다.
(커버 이미지: Photo by JOSHUA COLEMAN on Unsplash)
