by
Jan 28. 2019
신경세포의 초기 모델, ADALINE
[야만인] 인공지능 탄생의 뒷이야기
1943년 맥클럭 Warren McCulloch 과 피츠 Walter Pitss 가
뇌세포를 처음으로 모델링합니다.
이후 1958년 프랭클린 로젠블랫 Frank Rosenblatt 이
맥클럭과 피츠의 뇌모델에
도널드 헵 Donald Olding Hebb 의 학습이론에서 힌트를 얻은 weight를 추가함으로써
퍼셉트론을 만들어냅니다
이번 이야기의 주제는 사람이 아닌 모델입니다.
신경세포의 초기 모델로 불리는 아달라인 ADALINE 은
스탠포드 대학의 버나드 위드로 Bernard Widrow 와
그의 제자 테드 호프 Ted Hoff 가
1960년에 개발한 모델입니다.
퍼셉트론은 순입력함수의 리턴값을
임계값을 기준으로 1과 -1로 분류합니다.
아달라인은 순입력함수의 리턴값과
실제 결과값의 오차가 최소화되도록
가중치를 조정합니다.
이 비용함수를 J(w)라 하고,
오차를 계산하기 위해 편차제곱을 합합니다.
이 식은 선형적인 계단함수가 아닌 곡률을 나타내므로
미분이 가능합니다.
좀 더 이해하기 쉽게 그래프로 보면
비용함수 J(w)는 2차함수입니다.
이 곡선의 기울기가 0에 수렴할 때까지 w를 조정하면
J(w)가 최저가 됩니다.
아달라인은 이런 경사하강법 Gradient Descent 을 이용하는데 w를 조금씩 조정하며 찾아갑니다.
비용함수 J(w)의 미분값은 이렇게 구합니다.
정리하면
아달라인은 비용함수가 최저가 되는 w값을 찾는 문제로 귀결됩니다.
