꿈의 시작: 기계도 생각할 수 있을까?

기계도 생각할 수 있을까?

알파고가 세상을 뒤흔든 것은 불과 9년 전이다. 10년이면 강산도 변한다고 했지만, 10년도 채 되지 않아 AI는 엄청나게 변했다. 바둑만 잘 두던 AI가, 이제는 거의 모든 영역에서 활동하고 있다. 이미 많은 분야에서 인간을 능가하는 AI가 등장했다. 어떻게 AI가 이렇게 똑똑해졌을까?

1950년대, 한 과학자가 대담한 질문을 던졌다. "기계가 생각할 수 있을까?" 1950년 영국의 천재 수학자 앨런 튜링은 "기계가 인간처럼 대화할 수 있다면 그것을 지능이라 부를 수 있지 않을까?"라는 아이디어를 제시했다. 그는 인간과 기계를 구분 짓는 테스트 방법을 제시했다. 그것이 바로 유명한 튜링 테스트다.

온라인 채팅방에서 당신이 누군가와 30분간 이야기를 나눴다고 상상해 보자. 상대는 농담도 하고, 감정도 표현하고, 때로는 실수도 한다. 대화가 끝난 뒤 누군가 묻는다. "방금 대화한 상대가 사람이었나요, AI였나요?" 만약 당신이 확신을 갖고 답할 수 없다면, 튜링 테스트의 기준으로는 그 AI가 '생각하는 기계'에 가까워진 것이다.

1950년대는 컴퓨터가 막 등장하던 시대였다. 진공관으로 만들어진 거대한 계산기가 전부였고, 사람들은 기계가 인간처럼 생각하는 것을 공상과학 소설로 치부했다. 하지만 2025년 지금, ChatGPT와 Claude 같은 AI는 이미 수많은 사람들과 자연스럽게 대화를 나눈다. 시를 쓰고, 코드를 짜고, 농담을 던진다. 튜링이 상상한 미래가 우리 손 안의 스마트폰에 들어온 것이다.

1956년 여름, 미국 다트머스 대학에서 역사적인 회의가 열렸다. 존 메카시 교수를 비롯한 젊은 과학자들이 모여 처음으로 "인공지능(Artificial Intelligence)"이라는 용어를 만들어냈다. 그들은 "20년이면 인간만큼 똑똑한 기계를 만들 수 있을 것"이라 낙관했다.

규칙으로 만드는 지능

요리할 때 우리는 레시피를 보고 따라 한다. 거기에 적힌 내용대로 재료를 손질하고, 절차에 따라 투입한다. 요리 레시피에는 요리사가 정해 놓은 규칙과 논리가 있다. 초기 AI 연구자들도 이런 방식을 택했다. 규칙과 논리를 세우고, 문제를 풀어가는 기계를 만들려고 했다.

물이 끓으면 고춧가루를 투입하라는 요리책의 레시피처럼, "만약 A라면 B를 하라"는 식의 명령어를 수천 개 입력했다. 체스를 두는 프로그램을 만들 때는 "상대가 퀸을 움직이면, 나는 비숍으로 막아라" 같은 규칙들을 일일이 코딩했다. 수학 문제를 푸는 시스템도 마찬가지였다. 공식을 전부 입력하고, 문제 유형별로 풀이 방법을 하나하나 가르쳤다.

하지만 20년이 지나도 인간만큼 똑똑한 기계는 나오지 않았다. 이 방식에는 치명적인 한계가 있었다. 아이가 고양이를 처음 보고 "고양이다!"라고 알아보는 것처럼, 우리는 규칙 없이도 직관적으로 패턴을 인식한다.

하지만 기계에게 고양이를 인식시키려면 '귀가 뾰족하고', '수염이 있고', '네 발로 걷는다'는 등 수만 가지 규칙을 일일이 입력해야 했다. 조명이 바뀌거나 각도가 달라지면 또 다른 규칙이 필요했다. 인간에게는 너무 쉬운 이미지 인식이 기계에게는 불가능에 가까운 작업이었다. 규칙 기반 방식으로는 더 이상 진화할 수 없었다.

뇌를 모방한 기계의 등장

1958년 프랭크 로젠블랫은 '퍼셉트론'이라는 획기적인 장치를 발명했다. 이것은 인간의 뇌신경세포를 모방한 간단한 기계였다. 가장 놀라운 점은, 이 기계가 규칙을 입력받는 대신 인간의 뇌처럼 '학습'할 수 있다는 것이었다.

퍼셉트론에게 삼각형은 삼각형대로, 원은 원끼리 구분하는 것을 가르친다고 생각해 보자. 규칙 기반 방식이라면 "각이 세 개면 삼각형, 둥글면 원"이라는 규칙을 입력해야 했다. 하지만 퍼셉트론은 달랐다. 수백 개의 삼각형과 원을 보여주기만 하면, 스스로 패턴을 찾아냈다. 처음에는 실수를 했지만, 틀릴 때마다 스스로를 조정하며 반복할수록 정확도가 높아졌다. 마치 아이가 경험을 통해 배우는 것처럼 AI도 스스로 학습하기 시작했다.

사람들은 열광했다. 드디어 생각하는 기계의 시대가 열린다고 믿었다. 1958년 뉴욕타임스는 "미래에는 걷고, 말하고, 보고, 쓰고, 스스로 존재를 인식하는 기계가 탄생할 것"이라고 보도했다. 그리고 놀랍게도, 60년이 넘는 시간이 걸렸지만 그 예언은 2020년대에 현실이 되고 있다.

AI의 빙하기

하지만 현실은 냉혹했다. 1969년 마빈 민스키와 시모어 페퍼트, 두 명의 MIT 교수가 퍼셉트론의 치명적 약점을 발견했다.

퍼셉트론은 직선 하나로 패턴을 나누는 방식으로 학습한다. 삼각형과 원을 구분할 때는 이 방식이 잘 작동했다. 직선 하나만 그으면 삼각형 그룹과 원 그룹을 깔끔하게 나눌 수 있었기 때문이다.

그런데 문제가 있었다. 두 개의 스위치가 있다고 가정하자. 둘 다 켜지거나 둘 다 꺼지면 불이 꺼지고, 하나만 켜져 있으면 불이 켜지는 회로다. 우리에게는 쉽게 이해되는 상황이지만, 퍼셉트론은 이것을 아무리 학습해도 배울 수 없었다.

왜 그럴까? 아래 그림을 보면, '예스'끼리, '노'끼리 묶으려면 직선 하나로는 불가능하다. 곡선이 필요하다. 하지만 신경세포 하나만을 모방한 퍼셉트론은 직선만 그을 수 있었다. 이것이 퍼셉트론의 근본적인 한계였다.

두 교수는 이 한계를 수학적으로 증명했다. 이 충격적인 발견은 AI 연구에 찬물을 끼얹었다. 투자자들이 등을 돌렸고, 연구비가 끊겼다. 학생들은 AI 연구실을 떠났다. 1970년대부터 1980년대 중반까지, AI 연구는 침체기에 빠졌다. 사람들은 이 시기를 'AI의 겨울'이라 불렀다.

부활과 좌절

1980년대, 새로운 희망이 나타났다. '전문가 시스템'이라는 아이디어였다. 발상은 이랬다. "경험 많은 의사는 어떻게 병을 진단할까? 30년 경험으로 쌓인 지식이 있다. 그 지식을 컴퓨터에 입력하면 어떨까?" 우리는 그 지식을 명시적 지식이라 부른다.

방법은 간단했다. 한 명의 암 전문의가 평생 축적한 진단 노하우를 인터뷰해서 규칙으로 만드는 것이다. "만약 환자가 40세 이상이고, 흡연 경력이 있고, 기침이 3주 이상 지속되면 → 폐암 검사를 권장하라" 같은 규칙을 수천 개 입력했다. 그러면 컴퓨터가 그 의사처럼 판단할 수 있지 않을까?

실제로 전문가 시스템은 어느 정도 효과를 보였다. 사람들은 다시 희망을 품었다. 일본은 '5세대 컴퓨터 프로젝트'라는 야심 찬 계획에 수천억 원을 쏟아부었다. 10년 안에 사람처럼 추론하는 슈퍼컴퓨터를 만들겠다는 꿈이었다.

그러나 또다시 실망이 찾아왔다. 전문가 시스템은 유지보수가 너무 어려웠다. 새로운 지식을 하나만 추가해도 기존 규칙과 충돌했다. 사정이 조금만 바뀌어도 엄청난 지식을 새로 정리하는 작업을 해야 했다. 투입 대비 효과가 너무 낮았다. 일본의 거대 프로젝트도 기대에 미치지 못한 채 조용히 막을 내렸다.

더 근본적인 문제가 있었다. 아침에 출근했는데 상사의 기분이 언짢아 보인다. 그런 날 우리는 본능적으로 조심하고 주의를 기울인다. 우리가 눈치라 부르는 암묵적 지식이다. 이런 암묵적 지식을 규칙으로 표현하는 것은 불가능했다. 1990년대 초, 두 번째 AI 겨울이 시작됐다. "인공지능은 영원히 불가능한 꿈"이라는 냉소가 퍼졌다.

조용한 혁명: 신경망의 부활

혹한의 빙하기에도 과학자들은 포기하지 않았다. 1986년 제프리 힌턴과 동료들은 '역전파(backpropagation)' 알고리즘을 발전시켰다. 이것은 다층 신경망을 효과적으로 학습시키는 방법이었다. 퍼셉트론의 한계를 극복할 열쇠였지만, 당시에는 큰 주목을 받지 못했다.

먼저 다층 신경망이 무엇인지 알아보자. 퍼셉트론은 신경세포 하나만 모방했다. 직선 하나로 패턴을 나누는 방식이었다. 하지만 다층 신경망은 여러 개의 신경세포를 층층이 쌓아 올린 구조다. 첫 번째 층이 간단한 패턴을 찾고, 두 번째 층은 그것들을 조합해 더 복잡한 패턴을 찾고, 세 번째 층은 더욱 추상적인 개념을 학습한다. 마치 복잡한 문제를 여러 단계로 나눠 푸는 것과 같다.

그렇다면 역전파는 무엇일까? 학생이 수학 시험을 보고 틀린 문제가 있다고 하자. 좋은 공부 방법은 풀이를 쓴 답안지를 거꾸로 추적하는 것이다. 끝에서부터 풀이 과정을 살피면서 어디서 실수했는지 찾아내는 것이다. "아, 마지막 계산이 틀린 이유가 중간 단계에서 부호를 잘못 썼구나." 역전파도 마찬가지다. AI가 잘못된 답을 내놓으면, 그 오류를 마지막 층에서부터 거꾸로 추적해 각 층의 연결을 조금씩 수정한다. 이렇게 반복하면서 점점 정확해진다.

획기적인 아이디어였지만 주목을 크게 받지 못했다. 왜일까? 컴퓨터가 너무 느렸다. 신경망이 복잡해졌지만, 그것을 학습시킬 데이터가 부족했다. 신경망을 깊게 쌓으면 학습이 제대로 되지 않는 기술적 문제도 있었다. 깊은 신경망을 효과적으로 학습시킬 기법도 부족했다. 힌턴은 "신경망 연구를 한다"라고 말하면 사람들이 비웃던 시절을 회고한다.

2000년대 들어 상황이 달라지기 시작했다. 인터넷이 폭발적으로 성장하면서 엄청난 양의 데이터가 축적됐다. 수억 장의 사진, 수십억 개의 텍스트가 온라인에 쌓였다. 컴퓨터 성능도 무어의 법칙에 따라 기하급수적으로 향상됐다. 특히 게임용 그래픽카드(GPU)가 병렬 연산에 탁월하다는 점이 주목받으면서, 이를 신경망 학습에 활용하기 시작했다. 이는 AI의 학습 속도를 수십 배 빠르게 만드는 게임 체인저였다.