by
Apr 21. 2020
학습 못지않게 타고난 바도 중요하다 - 딥러닝 초기화
[야만인] 인공지능 탄생의 뒷이야기
좋은 환경에서 교육을 받으면
더 좋은 사람으로 성장할 수 있습니다.
하지만 똑같은 교육과 경험이더라도
태어날 때 어떤 유전자를 타고 태어났느냐에 따라
크게 달라지기도 합니다.
예를들면 방탄소년단 BTS 처럼요.
우리는 아미 유전자를 타고 태어났어요!
딥러닝에서도 마찬가지입니다.
1986년 데이빗 럼멜하트 David E. Rumelhart와 제프리 힌튼 Geoffrey Everest Hinton이
백프로퍼게이션 backpropagation 알고리즘을 개발하여
다층신경망 Multi Layer Neural Networks의 학습문제를 해결했지만
신경망이 깊어질수록 학습이 힘들어지는 Vanishing Gradient 문제가 발생하여
두 번째 신경망의 겨울로 들어갑니다.
지금까지는 어떻게
주어진 초기값에 경사하강법을 태워서
잘 학습시킬 것인가에 모든 연구가 집중되었는데
2006년 제프리 힌튼이 역발상으로
이 문제를 해결할 단초를 제공합니다.
제프리 힌튼은
< A fast learning algorithm for deep belief nets > 논문에서
깊은 신경망 네트워크를 잘 학습시키기 위해 초기화가 중요한데
그 방법으로 1980년대초 자신이 연구했던 볼츠만 머신을 응용한
제한된 볼츠만 머신 Restricted Boltzmann Machine, RBM으로
두 개의 층을 쌓아가는 방법으로 초기화 방법을 제안했고,
이는 신경망의 두 번째 겨울을 가져왔던 Vanishing Gradient 문제를 해결할 수 있다는
가능성을 열어줍니다.
우리나라에서 딥러닝 공부하는 사람들은 다 아는 김성훈 교수님의
RBM에 대한 자세한 설명을 들어보겠습니다.
앞뒤로만 연결된 제한된 네트워크에서
1) 어떤 입력값이 있을 때
2) Forward 방법으로 생성된 출력값으로부터
3) Backward 방법으로 생성된 입력값을 구하여
4) 1)과 3)이 같아질 때까지 반복하면서 Weight(w)를 초기화시키는 겁니다.
제프리 힌튼 교수는 앤드류 응 Andrew Ng과의 2017년 온라인 인터뷰에서
자신이 연구한 것 중에 가장 자랑스러운 일이
2006년 RBM으로 초기화하여 Vanishing Gradient 문제를 해결할 수 있는
가능성을 연 것이라고 말한 바 있습니다.
결국 딥러닝 신경망 학습에 있어서
사람처럼 좋은 데이터로 잘 학습시키는 것도 중요하지만
태어날 때 좋은 유전자를 타고난 것도 중요한 것처럼
신경망의 초기값을 어떻게 주느냐가
이후 학습에 매우 큰 영향을 미친다는 것이 밝혀진 셈입니다.
그런데 2010년 몬트리올 대학의
요슈아 벤지오 Yoshua Bengio 연구실의 자비에 글로럿 Xavier Glorot이
< Understanding the difficulty of training deep feedforward neural networks > 논문에서
초기화하려는 신경망 구간의
Input 노드와 Output 노드 수에 비례하여 정규분포로 초기화하면
훨씬 쉽고 빠르게 초기화할 수 있다는 사실을 밝혀냅니다.
5년 뒤인 2015년 마이크로소프트 아시아 북경연구소의
케이밍 허 Kaming He와 중국 연구진들은
< Deep Residual Learning for Image Recognition > 논문에서 제시한
새로운 초기화 방법으로 ResNet 모델을 만들어
그 해 ILSVRC 대회에서 우승합니다.
케이밍 허는 ResNet 모델에서
자비에 초기화 방식에서 Input 노드수를 2로 나누도록 조금 수정하는데
이 방식이 ReLu 활성화함수에서는 훨씬 효과적인 초기화 방식이라는 것이
증명된 것입니다.
최근 가장 많이 쓰이는 케라스 프레임워크 Keras Framework에서도
자비에 초기화 Xavier Initialization 방법과
허 초기화 He Initialization 방법이 주로 쓰이고 있습니다.
얼마나 더 좋은 유전자가 나올까요?
