[카카오AI리포트]딥러닝 연구의 현재와 미래 part2
이제까지 딥러닝의 성공을 이끈 세가지 요소를 꼽는다면, 첫째, 사용가능해진 많은 양의 데이터, 둘째, 그것을 확장성(scalable) 있게 사용할 수 있게 한 깊은 신경망(deep neural network)의 개발, 마지막으로, 빅데이터 연산을 개인용 PC에서도 할 수 있게 만든 고성능 GPU의 발전(general-purposed graphics processing unit, GPGPU)을 꼽을 수 있습니다[1]. 특히 “많은 양의 데이터”에는 각각에 대해 인간이 정답을 알려주는 레이블링(labeling) 작업이 매우 중요한 역할을 하는데 (e.g. 이 사진 속 물체는 개/고양이다.), 영상처리에 혁신을 가져왔던 대규모 사진 데이터셋, ImageNet의 기여 역시도 수천만장의 사진을 일일이 레이블링 해주는 인간의 노력이 있었기에 가능한 일이었습니다[2]
[카카오 AI 리포트] Vol. 6 (2017년 8월호) 는 다음 내용으로 구성되어 있습니다.
[1] Industry - 데이터와 음성인식
01. 하용호 : 머신러닝 적용의 실제, 논문이 가르쳐주지 않는것들
[2] Trends - 생생한 AI 현장의 이야기
04. 하영식 : AI 접목된 의료영상의 주요 플레이어들
[3] Learning - AI 연구 동향과 강화학습 개념
06. 엄태웅 : 딥러닝 연구의 현재와 미래 part 2 (이번글)
07. 최성준, 이경재 : 알파고를 탄생시킨 강화학습의 비밀 part 2
[4] Information
[카카오 AI 리포트] Vol. 6 전체글 다운받기
내용 중간의 [ ]는 뒷부분에 설명 및 관련 문헌의 소개 내용이 있음을 알리는 부호입니다. 예를 들어, [1]에 대한 설명은 '설명 및 참고문헌'의 첫 번째에 해당합니다.
주요 논문으로 알아보는 딥러닝 연구의 현재와 미래는 지난 1편에 이어 캐나다의 워털루공과대학교 박사과정인 엄태웅님이 아래의 내용으로 2편을 소개합니다.
[ Contents ]
Part 1. ( 딥러닝 연구의 현재와 미래 Part1편 )
1. Convolutional Network Models
2. Image Segmentation / Object Detection
3. Image / Video / Etc
4. Natural Language Processing / RNNs
5. Speech
6. Other Domains
Part 2.
7. Unsupervised / Generative Models
8. Understanding / Generalization / Transfer
9. Optimization / Training Techniques
10. Reinforcement Learning / Robotics
11. Epilogue
“현재까지 구글과 같은 기업에 돈을 벌어다 준 기술은 컨볼루셔널 신경망(convolutional neural network, CNN)이나 재귀 신경망(recurrent neural network, RNN)과 같은 지도학습(supervised learning) 기술들이었다. 하지만 미래에는 비지도학습(unsupervised)이 그 자리를 대체할 것입니다.”
이는 세계 최고의 머신러닝 학회 중 하나인 NIPS(Neural Information Processing Systems)에서 딥러닝계의 스타 스탠퍼드 대학교의 앤드류 응(Andrew Ng) 교수가 남긴 말이다. 이제까지는 많은 데이터에 대한 레이블링이 지도학습의 성공을 가져왔지만, 궁극적인 데이터의 이해와 활용을 위해서는 레이블이 없는 데이터를 활용하는 비지도학습이 더욱 활발히 연구될 것이란 예측이다. 사실 이러한 예측은 인공지능 연구자라면 대부분 동의하고 있는 생각인데, 미래기술을 위해 전근대적인 반복 노동을 요구하는 지도학습은 그 과정이 현실적이지 않을뿐더러 우리가 추구하는 미래 인공지능의 모습과도 거리가 멀기에 인공지능 연구는 결국 “비지도학습”의 방향으로 나아갈 것이란 예측에 동의하는 사람이 많다.
7. Unsupervised / Generative Models
작년을 가장 뜨겁게 달구었던 딥러닝 알고리즘을 하나 꼽으라면 단연코 GAN(generative adversarial network)[7-1]를 꼽을 수 있을 것이다. GAN은[3] 기존의 비지도학습들이 데이터 분포를 직접 모델링하는데 어려움을 겪었던 것을 피하기 위해 학습과정을 생성자(generator)와 구분자(discriminator)의 적대적 경쟁관계로 전환, 지도학습의 강력함을 비지도학습에 적극적으로 활용함으로써 실제와 가까운 이미지들을 생성해내는데 성공했다. 이러한 적대적 경쟁관계의 학습은 목적함수에 대한 단순 최적화(optimization)보다 까다로운 학습과정을 요구하는데, CNN과 GAN의 결합에 대한 연구[7-2]는 안정적인 학습과정을 유도하면서도 더욱 진짜 같은 이미지 생성을 가능하게 하였다. 나아가 GAN에 대한 폭넓은 실험과 학습 기술의 발전은 GAN을 준지도학습(semi-supervised learning)에도 사용할 수 있게 하였으며[7-3], 데이터의 잠재공간(latent space)에 대한 탐색도 가능하게 하는 등[7-4] 그 무궁무진한 활용가능성으로 현재까지 몇년 새 100개에 가까운 GAN 응용모델을 쏟아내었다[4].
구글의 BE-GAN을 통해 인공적으로 생성된 얼굴들의 예제[5]GAN 못지않게 각광을 받는 비지도학습 방법으로는 VAE(variational autoencoder)[7-5] 를 꼽을 수 있다. 실제 같은 예제는 생성하지만 데이터 분포의 학습에는 취약한 모습을 보이는 GAN과는 달리 VAE는 가우시안(Gaussian) 분포의 잠재공간에 대한 가정 하에 아름다운 변분 추론(variational inference)의 과정을 거쳐 제어가능한 잠재 공간을 학습할 수 있게 해주는데, 쉽게 예를 들자면, 이 잠재 공간의 레버를 조절함으로써 우리는 물체의 크기, 각도, 조도 등을 컨트롤하며 이미지를 생성할 수 있게 되었다(e.g. DRAW[7-6]). 비교하자면 GAN은 주로 진짜 같은 예제를 생성해내는 것에, VAE는 데이터의 해석과 제어에 좀더 큰 강점을 보이는데 최근에는 GAN과 VAE가 서로의 장점을 받아들이며 통합된 관점으로 해석, 발전하고 있다(e.g.,[6]).
소개된 주요 논문들
[7-1] Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A. and Bengio, Y., 2014. Generative adversarial nets. In Advances in neural information processing systems (pp. 2672-2680).
[7-2] Radford, A., Metz, L. and Chintala, S., 2015. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434.
[7-3] Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A. and Chen, X., 2016. Improved techniques for training gans. In Advances in Neural Information Processing Systems (pp. 2234-2242).
[7-4] Chen, X., Duan, Y., Houthooft, R., Schulman, J., Sutskever, I. and Abbeel, P., 2016. Infogan: Interpretable representation learning by information maximizing generative adversarial nets. In Advances in Neural Information Processing Systems (pp. 2172-2180).
[7-5] Kingma, D.P. and Welling, M., 2013. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
[7-6] Gregor, K., Danihelka, I., Graves, A., Rezende, D.J. and Wierstra, D., 2015. DRAW: A recurrent neural network for image generation. arXiv preprint arXiv:1502.04623.
8. Understanding / Generalization / Transfer
CNN, RNN의 성공부터 최근의 GAN의 돌풍까지, 딥러닝의 성공은 매우 경이적이었으나 그 성공에 대한 인간의 이해는 아직 충분치 못한 편이다. 딥러닝이 간단한 조작에 의해 쉽게 기만될 수 있다는 사실은 딥러닝에 대한 이해가 부족하다는 예 중 하나이다[8-1]. 적대적 예제(adversarial example)라 불리는 이들은 기존 이미지에 특정 레이블이 좋아하는 노이즈를 인위적으로 입힘으로써 만들 수 있는데, 이는 미래 인공지능의 취약한 보안점을 시사하기도 한다. 예를 들어 무인자동차 시대에 누군가가 교통표지판에 이러한 노이즈를 덧씌워 놓는다면 상상하기 힘든 참사로 이어질 수도 있기 때문이다. 적대적 예제의 존재는 인공신경망이 인간의 인지과정과는 다른 이해를 보여주고 있다는 증거이기도 한데, 진정 사람의 능력을 모방하는 “인공지능”을 만들고자 한다면 이 차이로부터 진정한 인공지능을 향해 의미있는 도약을 할 수 있어야 할 것이다.
깊은 신경망에 인위적으로 노이즈를 추가하면 팬더 그림을 긴팔원숭이(gibbon)로 착각하게 만들 수도 있다[7]딥러닝에서 더욱 깊은 이해가 필요한 또다른 부분은 학습된 지식의 전이(transfer learning)에 대한 부분이다. 앞서 언급했던 바와 같이 모든 목표작업들에 대해 레이블링 작업을 하는 것은 쉽지 않은 일이기에, 이 경우에는 기존 지식으로부터 새로운 타겟으로의 전이(transfer) 혹은 적응(adaptation)을 통해 효율적인 학습을 달성할 수 있다. 예를 들면 개와 고양이를 구분하는데 쓰이는 학습되었던 모델을 자동차와 비행기를 구분하는 타겟 작업을 위해 재학습하는 것처럼 말이다. 신경망의 이러한 재학습 과정을 세부 조정(fine-tuning)이라 부르는데, 본글 part 1에서 언급하였던 사물검출(object detection), 분할(segmentation)과 같은 작업들이 모두 기존 학습된 분류모델의 세부조정으로부터 출발하고 있다.
이러한 지식의 전이가 가능한 이유는 깊은 신경망이 낮은 층의 레이어(layer)들에선 타겟작업과는 독립적인, 좀더 기초적인 지식들을 학습하기 때문인데[8-2], 이러한 기초 지식들을 재활용하기 위하여 높은 층의 레이어를 재학습시키는 세부조정 방법들[8-3]이 최근 많이 활용되고 있다(e.g. 사물분류 모델을 재활용한 의료 영상분석모델[8]). 앞으로도 많은 양의 데이터 레이블이 부족한 분야에서는 비지도학습과 함께 이러한 전이학습이 적극적으로 활용될 것으로 보인다.
이 외에도 딥러닝의 혜택을 핸드폰 등의 소형기기에서도 활용할 수 있도록 거대 학습모델을 정제하여[8-4] 작은 모델에서도 동등한 성능을 낼 수 있는 방법에 대한 연구도 진행되고 있으며[8-5],[8-6], 딥러닝에 대한 분석 결과에 대한 이해를 돕기 위한 다양한 시각화 방법들도 제안되고 있다[8-7],[8-8].
소개된 주요 논문들
[8-1] Nguyen, A., Yosinski, J. and Clune, J., 2015. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 427-436).
[8-2] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E. and Darrell, T., 2014, January. Decaf: A deep convolutional activation feature for generic visual recognition. In International conference on machine learning(pp. 647-655).
[8-3] Oquab, M., Bottou, L., Laptev, I. and Sivic, J., 2014. Learning and transferring mid-level image representations using convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1717-1724).
[8-4] Hinton, G., Vinyals, O. and Dean, J., 2015. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531.
[8-5] Iandola, F.N., Han, S., Moskewicz, M.W., Ashraf, K., Dally, W.J. and Keutzer, K., 2016. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size. arXiv preprint arXiv:1602.07360.
[8-6] Han, Song, et al. "EIE: efficient inference engine on compressed deep neural network." Proceedings of the 43rd International Symposium on Computer Architecture. IEEE Press, 2016.
[8-7] Zeiler, M.D. and Fergus, R., 2014, September. Visualizing and understanding convolutional networks. In European conference on computer vision (pp. 818-833). Springer, Cham.
[8-8] Zhou, B., Khosla, A., Lapedriza, A., Oliva, A. and Torralba, A., 2016. Learning deep features for discriminative localization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 2921-2929).
9. Optimization / Training techniques
딥러닝의 시대 이전만 하더라도 깊은 신경망의 학습은 미분값 소멸(vanishing gradient)과 같은 현실적 문제로 인해 그 학습이 쉽지 않았었다. 이를 극복하고 많은 양의 데이터로 깊은 구조를 학습하기까지에는 ReLU(rectified unit)[9-1],[9-2]과 같은 딥러닝 구성요소에 대한 발전과 최적화(optimization) / 학습기법(training techniques)에 대한 방법론 발전이 큰 역할을 하였는데, 그 중 ADAM[9-3]은 딥러닝 학습에 가장 많이 쓰이고 있는 최적화 방법 중 하나이다. 또한 머신러닝의 고질적인 문제인 오버피팅(overfitting)을 해결하기 위해 모델의 정규화(regularization)에 대한 연구도 많이 이루어졌는데, dropout[9-4],[9-5]은 매우 간단하면서도 강력한 오버피팅 방지책을 제공해주었다.
최근 깊은 신경망의 새로운 표준으로 자리잡은 요소 중 하나는 배치분포 표준화(batch normalization)[9-6]이다. 신경망 구조는 데이터의 분포가 평균 0, 분산 1 근처일 때 가장 학습이 잘 되는 것으로 알려져 있는데, 이 때문에 데이터의 분포를 미리 조정하는 일(normalization)은 신경망 학습의 가장 기초적인 전처리과정 중 하나이다. 문제는 깊은 신경망을 통해 데이터가 변형되면서 이 분포가 무너진다는 것인데, 내재 분포 이동(internal covariate shift)이라 불리는 이 현상은 깊은 신경망의 느린 학습의 주범 중 하나였다. 배치분포 표준화는 계층마다 데이터를 다시 표준화(normalization) 해줌으로써 이 문제를 해결하였으며, 현재는 그 강력함이 대부분의 활용 모델들에서 입증되어 레이어 정규화(layer normalization)[9-7] 등 다양한 활용 방법이 존재하는 필수 레이어 구성요소로 자리잡았다.
소개된 주요 논문들
[9-1] Nair, V. and Hinton, G.E., 2010. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning(ICML-10) (pp. 807-814).
[9-2] He, K., Zhang, X., Ren, S. and Sun, J., 2015. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision (pp. 1026-1034).
[9-3] Kingma, D. and Ba, J., 2014. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
[9-4] Hinton, G.E., Srivastava, N., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R.R., 2012. Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580.
[9-5] Srivastava, N., Hinton, G.E., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R., 2014. Dropout: a simple way to prevent neural networks from overfitting. Journal of machine learning research, 15(1), pp.1929-1958.
[9-6] Ioffe, S. and Szegedy, C., 2015, June. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning (pp. 448-456).
[9-7] Ba, J.L., Kiros, J.R. and Hinton, G.E., 2016. Layer normalization. arXiv preprint arXiv:1607.06450.
10. Reinforcement learning / Robotics
강화학습(reinforcement learning)은 기존 지도학습/비지도학습의 정적인 학습방법과 달리 에이전트(agent)가 직접 환경변수들을 탐색(exploration)하며 이에 대한 보상(reward)을 확인, 최적의 행동(action)에 대한 정책(policy)을 찾아가는 생명체의 학습과 유사한 학습과정을 이용하는 방법론이다[9]. 특히 구글의 딥마인드가 이 연구영역의 강자인데, Q러닝을 이용해 아타리(Atari) 게임에서 최고점수를 기록한 인공지능의 개발이나[10-1],[10-2] 작년에 이세돌 9단을 꺾은 알파고[10-3]는 모두 이러한 강화학습의 결과물들이다. 최근 비동기식 강화학습, 일명 엑터 크리틱(actor-critic)[10-4]이라 불리는 학습방식은 분산시스템을 이용해 적은 리소스로도 더욱 가볍고, 효율적이고, 안정적이게 강화학습을 할 수 있도록 해주었는데, 이는 앞으로 다수의 에이전트들이 동시에 학습을 진행해야하는 멀티에이전트(multi agent) 문제에서도 유용하게 쓰일 것으로 보인다.
최근 구글 딥마인드는 알파고를 뛰어넘는 스타크래프트2 인공지능 개발을 목표로 블리자드와의 협력 하에 개발환경을 공개하며 강화학습 연구에 박차를 가하고 있다[10]로보틱스(robotics)에서도 최근 딥러닝의 성공을 적극적으로 받아들이고 있다. 특히 영상인식 분야는 이미 딥러닝이 새로운 표준으로 자리잡은 만큼 카메라 입력과 행동 결과를 end-to-end로 연결시켜 물건 집기(grasping)와 같은 작업에서 좋은 결과를 보이고 있다[10-5],[10-6]. 나아가 로봇제어의 일부분 또한 강화학습으로 대체하여 로봇 스스로 수많은 시도와 실패 끝에 물건집기를 학습하는 메커니즘을 구현하였는데[10-7], 실제 어플리케이션에선 로봇에게 수만번의 실패를 허용하기 어렵다는 점에서 앞으로 로봇들의 지식 재활용과 공유에 대한 (cloud robotics) 많은 연구가 진행되어야 할 것으로 예상된다.
또한 실제 환경은 게임과 같이 행위와 보상의 관계가 명확히 규정되지 않다는 점에서 로봇의 제어를 딥러닝으로 대체하는 방향 역시 앞으로 많은 난관을 헤쳐가야 할 것으로 보인다. (참고로 로봇에서 놀라운 결과를 보여주고 있는 보스톤 다이나믹스의 로봇들의 제어에는 머신러닝이 거의 이용되지 않고 있으며, 따라서 서로 상이한 영역인 로봇제어와 딥러닝이 합쳐지려면 많은 학문적 발전이 있어야 할 것으로 보인다.)
소개된 주요 논문들
[10-1] Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D. and Riedmiller, M., 2013. Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602.
[10-2] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G. and Petersen, S., 2015. Human-level control through deep reinforcement learning. Nature, 518(7540), pp.529-533.
[10-3] Silver, D., Huang, A., Maddison, C.J., Guez, A., Sifre, L., Van Den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M. and Dieleman, S., 2016. Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), pp.484-489.
[10-4] Mnih, V., Badia, A.P., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. and Kavukcuoglu, K., 2016, June. Asynchronous methods for deep reinforcement learning. In International Conference on Machine Learning (pp. 1928-1937).
[10-5] Lenz, I., Lee, H. and Saxena, A., 2015. Deep learning for detecting robotic grasps. The International Journal of Robotics Research, 34(4-5), pp.705-724.
[10-6] Levine, S., Pastor, P., Krizhevsky, A., Ibarz, J. and Quillen, D., 2016. Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection. The International Journal of Robotics Research, p.0278364917710318.
[10-7] Levine, S., Pastor, P., Krizhevsky, A., Ibarz, J. and Quillen, D., 2016. Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection. The International Journal of Robotics Research, p.0278364917710318.
11. Epilogue
지금까지 2012년부터 2016년까지 가장 많이 인용된 딥러닝 논문 100편[11]을 중심으로 딥러닝의 핵심 기술들과 응용분야들, 그리고 앞으로의 발전 방향까지 “겉핥아” 보았다. 2012년 AlexNet[12]을 기점으로 폭발한 딥러닝의 급격한 성장은 CNN을 중심으로 한 비전 분야와 RNN을 중심으로 한 자연어처리, 음성인식 분야에서 성숙 단계 수준의 성과들을 보이고 있으며, 이들 영역에선 적용 도메인의 확장이나(e.g. 의료영상), 새로운 형태의 문제에 대한 도전 등(e.g. visual question answering) 끊임없는 진화를 거듭하고 있다. 이러한 지도학습 기반 딥러닝의 성공에는 ImageNet과 같은 대규모 공개데이터셋의 역할이 컸는데, 이는 다른 영역에서도 대규모 공개데이터셋이 필요함을 역설하고 있다. 따라서 우리도 각 분야에서 딥러닝 기반의 인공지능 혜택을 향유하려면 데이터 수집과 관리에 대한 정부, 기업, 대학의 역할이 더욱 강조되어야 할 것이다.
인간의 노동집약적이고 인위적인 레이블링으로부터 벗어나려는 노력도 최근 활발히 진행되고 있다. GAN과 VAE와 같은 비지도학습 방법들은 데이터 자체만을 학습하여 새로운 데이터들을 생성하는 능력을 보여주었으며, 학습된 지식의 정제와 전이는 보다 가볍고 특화 가능한 딥러닝의 활용법들을 제시하였다. 미래기술로 불리는 강화학습은 게임을 넘어 로봇을 통해 현실로 다가오고 있고, 지금도 더욱 효과적이고 안정된 딥러닝의 학습을 위해 다양한 신경망 구조와 학습기법들이 개발되고 있다. 이제까지의 딥러닝 발전이 데이터, 방법론, 연산력 혁신의 3박자가 맞아떨어져 촉발되었듯, 미래에도 각 요소 별 혁신이 병행되어야 꾸준한 인공지능 기술 향상을 이룰 수 있을 것이다.
마지막으로 이 글은 딥러닝 이해에 대한 백과사전이 아닌 딥러닝 논문을 안내하는 하나의 “메뉴판”으로서 작성되었음을 강조드린다. 각 연구의 역할을 이해하는 것과는 달리 그들을 현실에 적용하고 개선하기 위해선 훨씬 더 깊은 이해와 노력을 필요로 하므로 독자분들께서는 이 메뉴판을 통해 논문 탐색의 출발점으로 삼으시어 딥러닝을 더욱 깊게 공부하고 적용하셨으면 하는 바람이다. 참고로 필자가 2015년에 쓴 “쉽게 풀어쓴 딥러닝의 거의 모든 것”이란 글[1]이 단 1-2년 만에 옛날 이야기가 되어버렸듯, 최근 딥러닝의 연구들을 짚은 이 글 역시도 유통기한이 그리 길지 않을 것임을 말씀드린다. 사실 2017년에 나온 논문들로만 해도 기존 몇년 간의 성과를 다시 써야할 정도인데, “최최근” 연구에 대한 소개는 다음을 기약해 보도록 하겠다.
중요한 점은 이러한 인공지능 연구의 폭발적 성장을 따라잡기 위해선 다양한 분야의 재원들과 자원들이 서로 협력해야 한다는 것이다. 그리고 그러한 협력의 바탕에는 인공지능에 대한 올바른 이해가 선행되어야 한다. 아무쪼록 우리가 그려가는 미래 인공지능이 근거없는 환상이나 막연한 기대에 의한 사상누각이 아닌, 단단한 기술 이해에 바탕한 미래 문제의 믿음직한 해결사로 자리매김할 수 있기를 희망해본다.
글 | 엄태웅: terry.t.um@gmail.com
서울대 기계항공공학부에서 로봇의 모션플래닝을 전공한 뒤 회사에선 엉뚱하게 엑소스켈레톤을 개발하다가 서른이 되어 돌연 머신러닝계로 이적한 연구계의 박쥐, 낭인, 저니맨, 능력자 친구의 친구. 현재는 캐나다 워털루공대에서 딥러닝을 이용해 휴먼모션 분석에 대한 연구(a.k.a. 틈새시장 공략)를 하고 있으며, 라임이 분유값을 벌 수 있단 꾀임에 솔깃해 카카오리포트에 글을 쓰게 되었다고 한다. 참고로 “T-Robotics” 블로그와 “테리의 딥러닝토크” 유튜브도 운영하며 최저생계비 이하의 수입을 자랑한다고 한다. 페북에 서식하며 관심 먹고 살아가는 미물이지만, 막상 컨택하면 비싼척 하는 미청년, 아니 미아재.
참고문헌
[1]자료 | 엄태웅, “쉽게 풀어쓴 딥러닝의 거의 모든 것”, http://t-robotics.blogspot.ca/2015/05/deep-learning.html
[2]자료 | 민현석, “알파고 만들려면 먼저 알바고 돼야”, 테크엠, http://techm.kr/bbs/board.php?bo_table=article&wr_id=3612
[3] 자료 | 엄태웅, “GAN, 그리고 Unsupervised Learning”, http://t-robotics.blogspot.ca/2017/03/gan-unsupervised-learning.html
[4] 자료 | The GAN Zoo, https://github.com/hindupuravinash/the-gan-zoo
[5] 논문 | Berthelot, D., Schumm, T. and Metz, L., 2017. Began: Boundary equilibrium generative adversarial networks. arXiv preprint arXiv:1703.10717.
[6] 논문 | Rosca, M., Lakshminarayanan, B., Warde-Farley, D. and Mohamed, S., 2017. Variational Approaches for Auto-Encoding Generative Adversarial Networks. arXiv preprint arXiv:1706.04987.
[7] 논문 | Goodfellow, I.J., Shlens, J. and Szegedy, C., 2014. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.
[8] 논문 | Tajbakhsh, N., Shin, J.Y., Gurudu, S.R., Hurst, R.T., Kendall, C.B., Gotway, M.B. and Liang, J., 2016. Convolutional neural networks for medical image analysis: Full training or fine tuning?. IEEE transactions on medical imaging, 35(5), pp.1299-1312.
[9] 자료 | 최성준, 이경재, “알파고를 탄생시킨 강화학습의 비밀”, 카카오AI리포트, https://brunch.co.kr/@kakao-it/73
[10] 논문 | Vinyals, O., Ewalds, T., Bartunov, S., Georgiev, P., Vezhnevets, A.S., Yeo, M., Makhzani, A., Küttler, H., Agapiou, J., Schrittwieser, J. and Quan, J., 2017. StarCraft II: A New Challenge for Reinforcement Learning. arXiv preprint arXiv:1708.04782.
[11] 자료 | 엄태웅, “Most-cited deep learning papers”, https://github.com/terryum/awesome-deep-learning-papers
[12] 논문 | Krizhevsky, A., Sutskever, I. and Hinton, G.E., 2012. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105).
