by
Dec 16. 2018
딥러닝에 시간을 더하다, 유르겐 슈미트후버 (II)
[야만인] 인공지능 탄생 뒷이야기
우주.
우주宇宙.
하늘과 땅.
시간은 아침해를 걸어올려 저녁해로 지게 합니다.
한자의 우주는 시공간 개념을 함께 가지고 있습니다.
동양의 선현들은 공간을 공간으로만 보지 않았습니다.
늘 시간의 관점으로 바라보았죠.
이것은 놀라운 통찰입니다.
이제 다시 인공지능의 세계로 관심을 가져와보겠습니다.
손글씨나 이미지를 식별해내는 것은
고양이 피질연구,
네오코그니트론 Neocognitron,
CNN이라는 합성곱 신경망 Convolutional Neural Network을 통해
어느정도 완성이 되고 있었습니다.
거기서 멈출 리가 없겠죠?
인간은 이제 또다른 도전과제를 찾아냅니다.
자연어, 음성 등은
시간의 흐름을 알아야 이해할 수가 있습니다.
앞에서 말한 것이 뒤에 영향을 주기 때문이지요.
그것을 구현한 알고리즘이
RNN이라고 불리는 재귀신경망 Recurrent Neural Network입니다.
RNN은 기존 신경망에 시간의 흐름을 고려한 모델입니다.
이대로면 음성인식 로봇도
만들어 낼 수 있다는 자신감이 충만해집니다.
그런데 이 RNN의 문제점이 있었으니
바로 Vanishing Problem입니다.를
즉, 학습을 할 때 가중치를 고려해야 하는데
1보다 작은 가중치를 반복하다보면 0에 수렴해버립니다.
1보다 큰 가중치를 반복하다보면 더 큰 수에 수렴하게 됩니다.
이러면 정확도를 보장할 수가 없게 됩니다.
그런데 우리는 이미 이 문제점을 해결할 경험을 가지고 있습니다.
영화는 정지 이미지를 연속시켜
이전 이미지의 잔상에
새로운 이미지를 더해서
움직이는 효과를 냅니다.
여기서 주목할 것이 바로 '잔상'입니다.
즉, 뭔지는 확실치 않지만
전체가 또렸이 기억에 남는 건 아니고,
남은 기억의 일부가 다음에 영향을 주는 것이지요.
즉, 오래 기억할 정보와
바로 잊을 정보를
시간의 흐름에 따라
적절히 유지하는 것이 관건인 것입니다.
그러한 원리에 착안하여
유르겐 슈미트후버 Jurgen Schmidhuber와 그의 제자 셉 호흐라이터 Sepp Hochreiter는
RNN의 획기적인 돌파구를 마련한
LSTM(Long Short-Term Memory)를 만들어냅니다.
LSTM은 셉 호흐라이터가
1991년 박사논문을 쓸 때 개념을 생각했고,
1997년에 정식으로 세상에 내놓게 됩니다.
LSTM의 실체는 다음과 같습니다.
그러고보면 인류가 연구하는 것은 자연현상에 대한 탐구가 아닐까 해요. 인위적인 것이 아니라 자연적으로 돌아가는 것에 대한 원리.
하지만 완벽한 모델은 없는 법.
이 LSTM으로 RNN의 정확도는 획기적으로 올라갑니다.
그러나 계산이 많다보니 성능이 낮아지는 문제점이 있습니다.
지금보다도 초고성능 CPU, GPU가 있으면 해결이 되려나요?
이런 문제점을 개선하고자
뉴욕대의 젊은 과학자 조경현 교수님은
GRU(Gated Recurrent Unit)라는 모델을 제안하고 있습니다.
