by
Mar 23. 2020
딥러닝을 보다 쉽게, 케라스의 창시자 프랑소와 숄레
[야만인] 인공지능 탄생의 뒷 이야기
딥러닝은 1986년 역전파 알고리즘의 발견과
1989년 얀 레쿤 Yann LeCun의 CNN(합성곱신경망) 알고리즘을 이용한 우편번호 인식 등의 진전으로
가능성을 보여주었지만
여전히 실제 활용은 불가능한
'연구실 안의 기술'로
기나긴 겨울을 통과하고 있었습니다.
2006년 제프리 힌튼 Geoffrey Everest Hinton 교수가 <A fast learning algorithm for deep belief nets> 논문에서
RBM(Restricted Bolzman Machine)으로 초기화시켜 신경망을 깊게 구성하여
Vanishing Gradient 문제를 해결함으로써
딥러닝의 마지막 난제를 극복할 수 있는 가능성을 제시합니다.
이후 각 대학을 중심으로 딥러닝 신경망 구현을 위한 라이브러리들이 본격적으로 만들어지기 시작합니다.
그 첫 번째가 2010년 요슈아 벤지오 Yoshua Bengio와 그의 팀이었습니다.
MILA 연구소에서 최초의 딥러닝 개발 프레임워크인 Theano를 만듭니다.
Theano는 그리스의 위대한 철학자 피타고라스(고대 그리스어: Πυθαγόρας, 영어: Pythagoras)의 아내 이름입니다.
이후 2013년 버클리의 가양청 Yangqing Jia; 贾扬清 이 Caffe를,
2014년 SKYMIND에서 DL4J(Deep Learning for Java),
로난 콜로버트 Ronan Collobert 가 Torch3를,
2015년 일본 Preferred Networks에서 Chainer,
워싱턴대학과 카네기멜론대학에서 MXNet,
구글 브레인팀에서 Tensorflow,
프랑소와 숄레 François Chollet 가 Keras를,
2016년 마이크로소프트에서 CNTK(Cognitive Toolkit)를 만듭니다.
2017년 9월 29일 MILA의 요슈아 벤지오는 Theano 사용자에게 버전 1.0이 몇 주 내에 릴리즈 된다는 것과
그 이후에 더 이상 개발이 진행되지 않는다는 내용을 알립니다.
구글 Google의 텐서플로우 Tensorflow와 페이스북 Facebook의 파이토치 PyTorch와 경쟁할 수는 없었을 거라 생각합니다.
그래도 Theano가 딥러닝 연구에 끼친 영향은 어마어마 했습니다.
서론이 길었습니다. 늦었지만 이제 이번 이야기의 주인공을 소개하겠습니다.
Keras 딥러닝 라이브러리의 창시자
현재는 구글 AI 연구원인 프랑소와 숄레 François Chollet 입니다.
프랑소와 숄레는 철학적 궁금증으로 신경심리학 공부를 먼저 시작합니다.
그는 지능이 어떻게 작동하는지, 의식의 본질이 무엇인지 궁금해 했습니다.
그러나 신경심리학에서는 그에 대한 답을 주지 못했습니다.
숄레는 인공지능 공부를 시작합니다.
당시 딥러닝은 10,000여명 정도 연구하던 시점이었고,
활용할 도구도 많지 않아 C로 구현한 Caffe나 Lua로 구현한 Torch를 주로 사용했습니다.
프랑소와 숄레는 Python으로 구현된 Theano를 환상적으로 좋아했지만 사용하기가 어려워서 고민을 합니다.
그리고는 2015년 2월과 3월 사이에 Keras를 내놓습니다.
Keras는
① Theano 위에
② Scikit-learn과 Torch API(Application Programming Interface)의 일부 아이디어를 참고하여 만들었으며,
③ 순환신경망 RNN(Recurrent Neural Network)과 합성곱신경망 Convnet(Convolutional Neural Network)을 동시에 지원하는 당시 최초의 Python 딥러닝 라이브러리였습니다.
사람들은 Caffe나 Tensorflow, PyTorch 보다 Keras를 더 많이 사용한다는데 그 이유가 무엇일까요?
Keras API는 인식 부하를 줄이고,
접근성을 높이고,
생산성을 향상시킬 모범 사례가 준비되어 있어요.
먼저 접근성이 좋아야 합니다.
그가 구글에 입사하고 나서 Keras는 Tensorflow의 공식적인 고급 인터페이스가 됩니다.
tf.keras라는 모듈로 패키징되어 제공되고 있습니다.
인공지능 분야에서 흥미로운 것은
다양한 문제들이 인공지능이라는 기술과 도구로 해결되고 있다는 거에요.
완전 다른 분야에 적용이 되는 거죠.
그것이 제가 접근성에 중점을 두는 큰 이유입니다.
그는 최근의 딥러닝 연구자들에게 걱정어린 조언을 합니다.
비현실적 아이디어에 머물지 말고
과학적 방법으로 접근하세요.
연구의 목적은 지식을 창조하는 거에요.
보도나 홍보를 위해 논문을 쓰지 마세요.
오늘날 출판되는 콘텐츠의 홍수는
중요해 보이지만
대부분은 큰 소음입니다.
큰 질문에
집중하시길
바래요.
