인공 신경망의 시작- 맥컬럭과 피츠
우리는 지난 2편에서 인공지능을 구현하기 위한 방법론의 양대 산맥 중 하나, 심볼릭 AI의 등장을 살펴봤다. 컴퓨터에게 규칙과 논리를 알려줘서 문제를 풀게 하는 방법인 심볼릭 AI, 우리말로 기호주의 혹은 상징주의라 불리는 이 학파는 훗날 ‘전문가시스템’이라는 인공지능을 만들어내며 승승장구한다.
하지만 그들의 성공 이전에 치열하게 그들과 경쟁해 온 또 다른 학파, 신경망을 무기로 한 연결주의(connectionism)를 짚고 넘어가자. 이미 우리는 딥러닝의 시대에 살고 있고, 딥러닝이 연결주의로부터 시작되었기에, 이들이 어떤 역사를 지나왔는지, 어떤 고난을 이겨내고 오늘날의 승자가 되었는지는 반드시 살펴볼 필요가 있다. 그리고 이를 위해서는 잠시 시곗바늘을 과거로 돌려, 월터 피츠(Walter Harry Pitts, Jr., 1923~1969)라는 한 불운한 천재의 인생을 살펴봐야 한다.
유명한 철학자이자 수학자, 버트런드 러셀(Bertrand Russell)과 A. N. 화이트헤드(A. N. Whitehead)가 공동 집필한 <수학 원리(Principia Mathematica)>는 수학의 모든 내용을 논리와 공리만으로 증명하려고 시도한 기념비적인 책이다. (참고로 지난 편에서 허버트 사이먼과 앨런 뉴웰이 만든 심볼릭 AI, LT가 증명에 도전한 문제도 수학 원리에 포함된 문제들이다)
1913년 출간된 책을 통해 러셀과 화이트헤드는 세계적 명성을 얻게 된다. 그러던 1935년, 러셀은 이 책의 오류를 지적하는 편지를 한 통 받게 된다. 편지를 받은 러셀은 기뻐하며 자신이 근무하는 케임브리지 대학으로 글쓴이를 초대한다는 답장을 보냈다.
하지만 답장을 받은 이는 케임브리지 대학의 러셀 연구실에 합류하지 못한다. 왜냐하면 편지를 보낸 월터 피츠의 나이는 당시 12살이었기 때문이다.
1923년 4월 23일, 미시간 주 디트로이트에서 태어난 피츠는 지독히 불행한 유년 시절을 보낸다. 어린 시절부터 논리학과 수학을 배우고, 그리스어와 라틴어를 포함한 여러 언어에 능숙하며 천재로 불렸지만, ‘노숙자 소년’이라고도 불릴 정도로 불우한 가정환경을 가지고 있었다.
하여 제도권 교육은 받지 못하였고, 논리학과 수학, 그리고 다양한 언어들은 도서관의 책을 통해 독학으로 공부한 것이다. 도서관에 살다시피 한 그의 눈에 띈 책이 바로 <수학 원리>였으며, 그는 벽돌과 같은 수학 책에서 오류를 발견하고 러셀에게 편지를 쓰게 되었다.
15세 때 그는 가출을 하고, 학문의 길에 들어선다. 시카고 대학에서 열린 러셀의 강의에 참석하였으며, 이 시기 동안 러셀과 지속적으로 서신을 주고받았을 가능성이 있다고 이야기하는 학자들도 있다. 그는 시카고대학 학생으로 등록하지 않은 상태에서 학교에 머물렀다. 그러던 와중 제롬 레트빈이라는 의대생을 만나 친구가 되었으며, 러셀은 그에게 루돌프 카르납이라는 논리학자를 소개해 주며, 그가 공부를 할 수 있도록 도와준다.
1941년, 피츠에게는 운명과도 같은 일이 벌어진다. 의대생 친구 레트빈은 피츠의 천재성을 알아보고 당시 시카고 대학의 정신의학 교수 였던 워렌 맥컬럭(Warren McCulloch, 1898~1969)에게 피츠를 소개한다. 전형적인 미국 동부 엘리트 집안에서 성장한 맥컬럭과 디트로이트의 불우한 가정에서 자란 피츠는 전혀 맞지 않을 것 같았지만, 서로의 천재성을 인정하며 의기투합한다. 20살이 넘는 나이차에도 불구하고 말이다. 집도 없어 떠돌던 피츠를 자기 집에 머물게 한 맥컬럭은 서로 협력하여 연구를 진행했다.
그리고 1943년, 맥컬럭과 피츠는 역사에 남을 논문을 발표한다.
“A Logical Calculus of Ideas Immanent in Nervous Activity”
그들은 이 유명한 논문에서 우리 뇌에 있는 뉴런을 간단한 모델로 변환하였으며, 이 모델은 ‘논리 단위’로 구성되어 모든 계산 작업을 수행할 수 있음을 보여주었다. 이 논문은 인간의 뇌를 논리적으로 설명할 수 있는 모델을 만들 수 있다는 가능성을 열었다는 점에서 기념비적이라 할 수 있다. 또한, 신경학과 훗날 발현할 컴퓨터과학을 연결한 연구라는 점에서도 역사적 의의가 있다.
이들의 연구를 이해하기 위해서는 당시 신경학에서 이룬 성과인 뉴런에 대해 먼저 간단히 이해하고 넘어갈 필요가 있다. (아래 문단은 학술적 내용이 조금 포함되어 있으니 스킵 하시고, 노버트 위너가 등장하는 이야기부터 읽으셔도 됩니다)
19세기 후반부터 20세기 초반에 확립된 “뉴런 이론”은 뇌가 하는 일의 근본이 살아있는 세포인 ‘뉴런’과 그들의 상호 연결임을 명시한다. 이 주장을 한 사람 중 한 명이 바로 스페인의 신경학자 카할 (1852~1934)로, 그는 1906년 신경계의 구조에 대한 연구로 카밀로 골지와 함께 노벨 생리의학상을 수상했다.
뉴런은 살아있는 세포이며, 인간의 뇌에는 약 100억 개의 뉴런이 있다. 뉴런은 보통 세 가지 주요 부분으로 구성된다. 중심 부분인 세포체가 있고, 다른 뉴런으로부터 신호를 받는 덴드라이트, 그리고 신호를 전달하는 축삭이다. 그리고 뉴런들이 접촉하여 정보를 주고받는 부분을 우리는 시냅스라고 부른다. 인간의 뇌에는 약 500조 개 이상의 시냅스가 있다고 알려져 있다.
뉴런은 전기 신호를 축삭을 통해 보내고, 이 신호가 시냅스에 도달하면 다른 뉴런을 자극하거나 억제할 수 있다. 이 신호의 강도와 종류에 따라 자극을 받은 뉴런에서 신호를 다시 다른 곳으로 전달하기도 하며, 때로는 신호를 보내지 않기도 한다. 뉴런 이론은 지각과 사고를 포함한 뇌의 다양한 활동이 이 모든 신경 활동의 결과라 주장한다.
출처 : 한겨레맥컬럭과 피츠는 이 뉴런 이론에 집중했다. 그리고 1943년 그들은 인간의 뇌를 논리적으로 설명할 수 있는 모델을 만든다. 그들은 뇌가 이진법, 즉 켜짐(on)과 꺼짐(off)으로 이루어진 원소들의 조합이라 생각했다. 이 모델이 바로 오늘날 우리가 ‘맥컬럭-피츠 뉴런 모델’이라 부르는 것이다.
여기서 중요한 개념은 ‘전부 아니면 전무’라는 원칙이다. 쉽게 풀면, 뉴런은 완전히 활성화되거나 완전히 비활성화된다는 것이다. 이를 통해 뇌의 활동을 논리적으로 설명할 수 있다고 그들은 주장했다. 이 모델에 따르면, 뉴런은 간단한 논리 연산 수행이 가능하다. 쉬운 예를 들어보자.
위 그림은 두 개의 입력 신호(x1과 x2)가 있는 뉴런이다. 만약 이 뉴런의 임곗값이 1이라고 해보자. 만약 두 신호 모두 비활성화가 되면 0이 입력되어서 뉴런 역시 비활성화가 된다. 두 신호 중 하나만 활성화되고, 하나는 비활성화되면 그 합이 1이기에 뉴런의 임곗값에 도달하게 되고, 뉴런 역시 활성화된다. 두 신호 모두 활성화되면 합이 2가 되어 임곗값을 넘었기에, 역시 뉴런은 활성화된다.
이는 우리가 논리학에서 이야기하는 ‘OR’ 연산과 동일하다. 만약 임곗값을 2로 설정하면, ‘AND’ 연산을 수행할 수도 있게 된다.
맥컬럭과 피츠의 모델이 중요한 이유는, 뉴런들이 복잡한 논리 연산을 할 수 있다는 가능성을 열었기 때문이다. 이론적으로, 이 뉴런들을 연결해서 우리가 원하는 거의 모든 논리적 표현을 구현할 수 있다. 이 아이디어는 컴퓨터 과학의 기초가 되었으며, 특히, 폰 노이만에게 큰 영향을 주며 오늘날의 디지털 컴퓨터가 탄생하는 데 중요한 역할을 했다.
또한, 여기서부터 인공 신경망의 역사가 시작된다. 비록 이 모델이 실제 인간 뇌의 정확한 작동 방식을 완벽히 설명하지는 못했지만, 신경망이 단순 구성 요소들의 조합만으로도 복잡한 계산을 할 수 있다는 것을 보여준 것이다. 맥컬럭과 피츠의 모델이 훗날 나올 ‘퍼셉트론’과 ‘인공신경망’, 그리고 ‘딥러닝’의 원형이 된다.
이후 피츠는 승승장구한다. 1943년에는 친구 레트빈이 피츠를 노버트 위너에게 소개해 준다. 노버트 위너는 ‘사이버네틱스’를 창시한 입지전적인 인물로 본 브런치북에서 여러 차례 그를 다룬 바 있다. 피츠와 위너 역시 서로의 천재성을 인정하며 의기투합한다. 피츠는 위너가 근무하던 MIT에서 비공식적 학생으로 연구를 계속했으며, 중간중간 정식 대학원생으로 있기도 한다.
1951년, 그의 업적을 인정한 MIT는 고등학교도 나오지 못한 피츠에게 박사학위를 수여하기로 결정한다. 또한, 1954년, 그는 포춘이 선정한 40세 이하 과학자 20중 한 명으로 클로드 섀넌, 제임스 왓슨 등과 함께 이름을 올린다.
하지만, 피츠는 박사학위를 거절하고 점차 은둔 생활에 접어든다. 알코올 중독과 대인기피증에 빠지게 된 그는 결국, 1969년 알코올 중독에 의한 합병증으로 홀로 쓸쓸히 사망하게 된다.
모두가 천재로 인정한 소년이자 촉망받던 과학자인 피츠의 갑작스러운 몰락에는 어떤 사연이 있는 것일까?
피츠가 정신적으로 황폐해진 데에는 두 가지 원인이 있는 것으로 보고 있다. 우선, 1951년 벌어진 노버트 위너의 갑작스러운 절교 선언이다. 맥컬럭과 피츠, 그리고 위너는 1943년 의기투합한 이후, 약 10년의 세월 동안 사이버네틱스와 ‘기계 지능’이라는 튜링이 제시한 개념을 구축하기 위해 협력했다. 그리고 1951년 그들은 MIT에 새로운 연구소를 설립하기에 이른다. 하지만 갑작스럽고 비극적이면서, 드라마틱 하게도 위너는 맥컬럭과 피츠에게 일방적인 결별을 통보한다.
위너는 이후 그들과 다시는 말을 섞지 않았다. 이유에 대한 설명도 없었다. 이러한 ‘학문적 이혼’은 피츠에게 상당한 충격으로 다가왔다.
이후 그는 연구를 등한시하게 된다. 그래도 연구를 조금씩 이어가던 그에게 1959년 결정적 사건이 하나 더 벌어진다. 개구리의 뇌를 연구하던 중, 실험 결과가 자신의 이전 연구 결과와 상반되자, 그는 자신의 논문과 연구 노트를 모두 불태워버린다. 그리고 학계를 떠났다. 이후 은둔자가 된 그는 10년 동안 술에 빠져 생을 마감하게 된다. 피츠가 사망하고 4개월이 지난 후, 맥컬럭 역시 심장 질환으로 세상을 떠난다. 맥컬럭의 나이 70세였다. 인공신경망의 토대를 닦은 이 둘은 같은 해에 생을 마감하였고, 그들의 유산은 오늘날까지 빛을 발하고 있다.
혹자는 맥컬럭과 피츠, 그리고 위너의 학문적 이혼과 이후 벌어진 죽음의 여파로 사어버네틱스 분야와 기계 지능 분야가 급속히 분열되었다고 보고 있다. 또한, 이와 비슷한 시기에 존 매카시가 1956년 다트머스에서 ‘인공지능’이라는 새롭게 명명된 분야의 개척을 이끌며, 이 연구 분야는 혼란을 겪게 된다. 매카시의 관점은 다른 선구자들보다 협소했으며, 신경학과 수학과 같은 다른 분야와의 교류 대신, 소프트웨어 솔루션에 대한 공학적 접근에만 치중했다. 이로 인해, 인공지능을 만드는 데 있어 신경생리학과의 접목이 늦어졌다는 것이 일부 학자들의 견해이다.
1930년대 후반부터 1950년대 초반까지 풍부하게 이뤄지던 학제 간 교류는 점점 분리되기 시작했고, 컴퓨터를 기반으로 하는 공학자들은 인간 추론에 대한 피상적인 이해라는 좁은 범위 내에서 인공지능 개발을 가속화한다. 물론, 신경망을 기반으로 하는 학자들 역시 자신들의 개발에 열중하고 ‘퍼셉트론’이라고 하는 획기적인 모델이 탄생하게 된다.
슈퍼피포님의 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
모비인사이드의 뉴스레터를 구독해보세요
