brunch

매거진 팟캐스트 데이터홀릭

라이킷 18 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 카프카 Aug 20. 2023

퍼셉트론의 탄생과 AI의 겨울

인물열전 - 제프리힌튼 1편

인류의 꿈

인류는 늘 꿈을 가지고 있었다. 하늘을 나는 새를 바라보며 똑같이 하늘을 날고 싶었던 인류는 새를 유심히 관찰하고 연구했다. 레오나르도 다빈치가 남긴 그림을 보면 그가 새의 날개를 얼마나 철저히 연구했는지 알 수 있다. 마침 그는 그림도 잘 그렸다.

[레오나르도 다빈치의 새 날개 그림]

레오나르도 다빈치는 새가 나는 원리를 분석하여 15세기에 비행기를 구상했다. 그리고 약 450년 후, 1903년 12월 17일에 라이트 형제가 플라이어 1이라는 비행기로 인류의 첫 번째 비행을 했다. 그들은 12초간 하늘을 날았다.

약 50년 후, 1957년 10월 4일

세계 최초의 인공위성인 스푸트니크 1호가 지구 밖을 여행했다. 최근엔 인간이 만든 비행체가 태양계 바깥으로도 날아가고 있다. 화성으로 이주를 꿈꾸고 있기도 하다. 그런데 인류의 꿈은 여기에서 끝나지 않는다.

[세계 최초의 인공위성 스푸트니크 1호]

인간은 '인공지능'을 꿈꾼다.

인간이 발명한 컴퓨터는 인간이 할 수 없는 어마어마한 양의 계산을 할 수 있었다. 그러나 그림을 인식한다는 것은 여전히 어려운 일이었다. 숫자를 손으로 쓴 것을 사람은 너무나 당연하고 쉽게 인식하지만 컴퓨터에게는 불가능에 가까웠다. 손글씨를 이미지 픽셀로 인식하여 매트릭스로 계산하는 컴퓨터는 글씨를 조금만 기울여 쓰거나 약간만 왜곡해도 숫자로 인식하지 못했다. 집채만 한 슈퍼 컴퓨터가 이러한 간단한 인지를 못하는 것은 이상하면서도 당연한 일이었다.

손글씨 인식이 어렵다 보니 고양이를 고양이로 인식하는 것도 불가능에 가까운 일이었다. 앉아있는 고양이, 누워있는 고양이, 작은 고양이, 얼굴만 나온 고양이… 이런 고양이들을 인간은 고양이라고 단번에 알아보지만 컴퓨터는 해내지 못하는 영역이었다.

인간은 이 영역에 끊임없이 도전했다. 계산 능력이 아닌 지능을 가진 기계를 꿈꾼 것이다. 레오나르도 다빈치가 새처럼 날고 싶어 하며 새의 날개를 연구했던 것처럼 인간은 뇌에 대해 연구하기 시작한다.

퍼셉트론의 탄생

1943년, 맥컬럭과 피츠는 처음으로 뇌신경을 모델링했다. 이것이 맥컬럭-피츠 모델이다. 인공신경망이라는 개념을 뇌의 신경 구조를 본떠서 설명했던 것이다. 인공신경망은 뇌의 신경 세포인 뉴런의 동작 방식을 모방한 컴퓨터 알고리즘이다. 맥컬럭과 피츠는 뉴런과 신경 회로의 동작 원리를 기술하고 이를 기반으로 한 수학적 모델을 제시했다. 이 모델은 인공신경망의 기본 개념을 정립하는 중요한 역할을 했다.

[뇌의 신경구조와 맥컬럭-피츠모델]

1949년, 캐나다의 심리학자 도널드 헵이 ‘헵의 학습이론'을 발표했다. 뉴런 간의 연결과 학습 사이의 상관관계를 설명하며, 뉴런이 함께 활동하는 것이 함께 연결되는 것을 강화하는데 기여한다는 개념이었다.

그리고 1958년, 드디어 퍼셉트론이 탄생한다.

프랭클린 로젠블랫은 맥클럭-피츠 모델과 헵의 학습 이론에서 힌트를 얻은 weight를 추가함으로써 퍼셉트론을 만들어냈다. 맥클럭-피츠 모델에의 Input과 output 값에 연결의 강도(weight)를 추가한 것이다.

[프랭크 로젠블랫의 Single Layer Perceptron]

퍼셉트론은 Input을 받아서 가중치, 즉 weight를 곱하고, 이를 합산한 뒤에 임계치와 비교하여 출력을 결정하는 구조로 이뤄져 있다. 이 모델이 드디어 사람들의 사진으로부터 남자와 여자를 구별하게 된다. 1958년의 뉴욕타임스에는 세계 최초로 인지하는 기계인 퍼셉트론의 등장을 알리며 인공지능의 시대가 곧 등장할 것이라고 실리기도 했다.

퍼셉트론은 어떻게 남자와 여자를 구분하는가?

퍼셉트론은 입력값으로 남자 사진의 크기와 색깔을 받는다. 각각의 입력값은 가중치와 곱해져서 합산되며, 이 합산된 값이 임계치보다 크면 남자, 작으면 여자로 분류되는 방식이다. 퍼셉트론은 단일 층의 뉴런으로 구성되어 있고 여러 개의 입력값과 각각의 입력에 대한 가중치가 있다. 입력값과 가중치의 합산은 활성화 함수(step function)를 통과하게 되는데, 이때 활성화 함수가 출력값을 결정하는 역할을 하는 것이다. 이것은 기본적으로 이진 분류를 수행하는 모델이다. 임계치와 비교해서 0 또는 1을 출력하는 것으로서 임계치보다 작으면 0(남자), 임계치보다 크면 1(여자)을 출력한다.

퍼셉트론의 한계

퍼셉트론을 만든 프랭클린 로젠블랫의 라이벌이 있었다. 그는 마빈 민스키이다. 둘은 브롱스 과학고 동문으로 민스키가 1년 선배였다. 마빈 민스키는 1956년 뉴햄프셔 하노버에 있는 다트머스 대학에서 두 달 동안 10여 명의 과학자가 모여 인공지능을 연구할 것을 제안했던 '다트머스 회의'에서 최초로 인공지능이라는 용어를 사용하여 개념을 확립했다. 그는 기호주의로 인공지능을 설명했는데 인공지능 기호주의란 논리와 수학적 기호를 사용하여 지식을 표현하고, 추론 규칙을 적용하여 문제를 해결하는 방식을 강조하는 것을 의미한다. 기호주의적 접근은 문제 영역의 도메인 지식을 형식적으로 표현하고 이를 사용하여 추론과 문제해결을 수행한다. 예를 들면 논리연산, 추론규칙, 패턴 매칭등을 활용하여 지식 기반 시스템을 구축하고 문제를 해결하는 것이다. 지식 기반 시스템은 초기 인공지능 연구에 중요한 방법론이자 전문가 시스템이라고 불리기도 했다.

민스키의 기호주의가 인공지능 연구의 주류였을 때 로젠블랫의 연결 주의가 등장했다. 신경망으로 학습시켜 추론하게 만드는 퍼셉트론이 바로 그것이다.

세상의 모든 관심과 지원이 로젠블랫에게 집중되자, 1969년, 마빈 민스키는 미국의 수학자이자 컴퓨터 과학자인 시모어 파퍼트와 퍼셉트론의 한계를 수학적으로 증명하며 로젠블랫을 처참히 무너뜨렸다. “로젠블랫의 단순 퍼셉트론으로는 XOR 문제를 해결할 수 없다는 것”이었다.

단순 퍼셉트론의 한계를 지적한 이 책 이름은 퍼셉트론즈였음. 이 책에서 둘은 단층 퍼셉트론(single layer perceptron)의 한계를 지적하고 다층 퍼셉트론(multi layer)의 필요성을 주장했다. 로젠블랫은 다층 퍼셉트론의 학습 알고리즘에 대한 이론적인 해결책을 찾지 못했다. 다층 퍼셉트론의 핵심은 비선형 패턴을 학습할 수 있는 활성화 함수와 그에 따른 가중치 조정 방법을 개발하는 것이는데 이 부분이 어려웠던 것이다. 그리고 1971년, 로젠블랫은 체서피크만에서 요트에 몸을 기울인 채 마지막 모습으로 발견되었다.

그리고 인공지능에 추운 겨울이 찾아왔다.

다음 편에 계속

유튜브로 보기 : https://www.youtube.com/watch?v=IAo5pRyaQI4

참고: 야사와 만화로 배우는 인공지능, 루나파인북스

image Source

대표 이미지: https://unsplash.com/photos/9Y4ronQmPjk

레오나르도 다빈치 새 그림: 정확한 출처 미상, google 검색 image

스푸트니크 1호: 위키피디아

맥컬럭-피츠 모델: https://dominicm73.blogspot.com/2020/08/modeling-threshold-logic-neurons-and.html

Single Layer Perceptron: https://www.educba.com/single-layer-perceptron/

keyword