by
May 17. 2020
딥러닝-압도적 무공을 보여주다, 알렉스넷
[야만인] 인공지능 탄생의 뒷이야기
과거 대륙들이 연결되어 있었고, 지금도 계속 움직이고 있다는 주장을 한
알프레트 베게너 Alfred Lothar Wegener는 세상의 웃음꺼리였습니다.
2019년 제프리 힌튼 Geoffrey Everest Hinton은
2018 튜링상 수상 연설에서 그 동안의 연구를 회상합니다.
때는 2000녀대 후반
제프리 힌튼 교수팀의 알렉스 크리체프스키 Alex Krizhevsky는
딥러닝이 현실적인 문제도 잘 해결할 수 있다는 것을 증명하기 위해 다양한 노력을 시작합니다.
그들은 먼저 2009년도에 딥러닝으로 이미지 분류 연구를 위해 CIFAR 데이터셋을 만듭니다.
2011년 딥러닝으로 CIFAR 데이터셋 이미지를 훌륭하게 인식해나가고 있을 즈음,
같은 연구실 일리야 수츠케버 Ilya Sutskever가 이미지넷 대회에 참가할 것을 제안합니다.
당시 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)는 비전 분야의 올림픽이라고 불렸는데
이미지 인식 오류가 1%라도 낮으면 우승 트로피를 주는 대회였습니다.
2010년부터 시작하여 이듬해인 2011년에는 제록스 연구소의 SVM 머신러닝 기법이 우승합니다.
이 때 오류율은 25.7%였습니다.
(그림출처) http://image-net.org/challenges/LSVRC/2011/ilsvrc11.pdf
알렉스와 일리야는 이미지넷 대회에 출전하기로 마음먹고 연구를 시작합니다.
제한된 시간에 성능을 내기 위해 자신들의 모델에 GPU 기능을 추가합니다.
그럼에도불구하고 방해하는 문제가 있었으니 바로 오버피팅 문제였습니다.
특히 딥러닝에서는 신경망인지라 이 부분을 어떻게 해결해야 할 지 막막했습니다.
이 고질적인 오버피팅 문제를 해결한 사람은 연구실 후배인 니티시 스리바스타바 Nitish Srivastava였습니다.
그것은 모든 노드를 계산하지 않고,
랜덤하게 일부 노드의 계산값을 버리고 계산하자는
드랍아웃 dropout 아이디어였습니다.
이후 이 아이디어는 네 사람의 특허로 등록되고,
니티시의 석사논문으로 발표됩니다.
GPU와 드랍아웃에 이어 요슈아 벤지오 연구실에서 만든 ReLu(Rectified Linear Unit)로 바꿔보니 훨씬 향상됩니다.
드디어 2012년 ILSVRC 대회에 출전한 알렉스는 자신도 놀란 경이적인 기록으로 우승합니다.
이것으로 더 이상 딥러닝이 연구실에 머물지 않고, 인류의 역사를 바꿀 준비가 되었음을 세상에 알리게 됩니다.
이 대회 우승을 계기로 힌튼과 알렉스, 일리야는 자신들의 딥러닝 기술로 세상을 바꿀 비즈니스를 하기 위해
2012년 DNNResearch라는 스타트업을 창업했고,
1년 후 이들을 데려가기 위해 구글은 이 회사를 인수하게 됩니다.
