by
Oct 28. 2018
인공지능은 어떻게 학습을 할까? 델타룰, 백프로퍼게이션
[야만인] 인공지능 탄생의 뒷이야기
군대에 가면
좋든 싫든
누구든 사격을 하게 됩니다.
아무리 잘 쏘는 명사수라도
반드시 해야만 하는 것이 영점조정입니다.
영점조정은 아래와 같이 합니다.
먼저 세 발을 표적지에 쏩니다.
그 탄착군을 조정해서 영점(기준점)을 맞춘 후에 사격을 하게 됩니다.
상하조정은 가늠자상하조절나사로
좌우조정은 가늠자돌림쇠로 조정합니다.
신경망에서의 델타룰이
바로 그 영점조정에 해당합니다.
이 델타룰은 ADALINE 모델에서 등장했습니다.
ADALINE 모델은 델타룰 개념을 추가하여
퍼셉트론 알고리즘을 향상시킨 모델입니다.
그런데 이런 델타룰은
여러 층의 퍼셉트론 환경에서는
적용하기가 어려웠습니다.
일찌기 마빈 민스키가
계산이 복잡할 뿐더러 적용하기도 어려워
다층 퍼셉트론에서의 학습은 사실상 불가능하다고 했습니다.
그렇게 해서 1960년대 인공지능의 역사는
차가운 겨울 뒤로 사라지는 듯 하게 되었다고 전에 말씀드렸습니다.
세상은 늘 발전하는 법.
그 겨울동안 몇몇 파이오니어에 의해
봄이 준비되고 있었습니다.
1969년 제어계측학에서
위치 호 Yu-Chi Ho 와 브라이손 Arthur E. Bryson 에 의해
백프로퍼게이션 Back-propagation 알고리즘이 세상에 나옵니다.
1974년 하버드대 폴 워보스 Paul Werbos 는
다층 퍼셉트론 환경에서
학습을 가능하게 해주는 백프로퍼게이션 알고리즘으로
박사학위 논문을 썼습니다.
그러나 당시 신경망에 냉랭했던 분위기에서
매장 당할까봐 발표하지 못했고
그러다 8년 후인 1982년에 와서야
위 논문을 저널에 발표하게 됩니다.
그리고 2년 뒤인 1984년
프랑스에서 신경망 연구로 박사논문 준비중이던 얀 레쿤 Yann LeCun 이
이 논문을 발견하여 다시 세상에 나왔고,
1986년 캘리포니아대 데이빗 럼멜하트 David Rumelhart 와 제프리 힌튼 Geoffrey Everest Hinton 에 의해
백프로퍼게이션이 다시 발견되어 세상에 널리 알려지면서
신경망은 부활하게 됩니다.
