by
May 19. 2017
[카카오AI리포트]연구자들이 열광하는 ICML,NIPS
학회 논문 메타 분석에서 나타나는 연구 흐름
저희는 왜 ‘카카오 AI 리포트'를 내고 있을까요. 이번 호는 이 같은 질문에 대해 또 다른 답을 찾아가는 과정 같습니다. 카카오는 인공지능(AI) 기술을 활용해 새로운 혁신에 도전하고자 하는 기업이지만, 저희 힘 만으로는 부족합니다. 저희는 세상을 바꾸는 AI 기술 동향과 흐름에 대해 국내에서도 더 많은 관심과 논의가 필요하다고 생각합니다. 훌륭한 인재들이 AI 연구에 더 적극적으로 뛰어들어 서로 지식을 교환하면서 새로운 가능성을 탐색할 수 있지 않을까요.
[카카오 AI 리포트] Vol. 3 는 다음 내용으로 구성되어 있습니다.
[1] Research - AI 연구 지금까지의 발자취
01. 정수헌, 김대원 : ICML과 NIPS 발표논문 6,163건 메타 분석
02. 김진화 : AI연구자들이 열광하는 ICML, NIPS (이번글)
03. 엄태웅 : 딥러닝 연구의 현재와 미래 part 1.(1/2)
[2] Industry - AI, 혁명의 주역
04. 노명철, 이주영 : [AI in kakao] 사진에서 사람을 읽다
[3] Information
[카카오 AI 리포트] Vol. 3 전체글 다운받기
내용 중간의 [ ] 는 뒷부분에 설명 및 관련 문헌의 소개 내용이 있음을 알리는 부호입니다. 예를 들어, [1]에 대한 설명은 '설명 및 참고문헌'의 첫 번째에 해당합니다.
본 글은 앞선 'ICML과 NIPS 발표논문 6,163건 메타 분석' 글에 대한 해석을 담고 있습니다.
AI 연구자들이 집중하는 ICML(International Conference on Machine Learning)과 NIPS(Neural Information Processing Systems)에 대한 발표 논문 메타 분석을 통해 우리는 어떤 시사점을 구할 수 있을까. 실제 ICML과 NIPS에 논문을 발표한 경험이 있는 김진화 님에게 이 같은 연구 과정과 맥락에 대해 묻고 답했습니다.
Q. 안녕하세요. 일단 소개부터 부탁드립니다.
A. 안녕하세요? 서울대학교 바이오지능 연구실 박사과정의 김진화입니다. 현재는 박사 수료 후 캘리포니아에 있는 페이스북 AI Research에서 Yuandong Tian의 지도로 4개월 간 연구 인턴을 수행하고 있습니다. 이제 연구 인턴 과정을 마무리하는 단계에 있으며, 박사 졸업 준비를 위해 5월 말 귀국할 예정입니다. 사람의 인지 과정과 인공지능에 대한 관심에서 대학원 과정을 시작했습니다. 시각 정보와 언어 정보를 종합적으로 판단하고 추론하는 멀티모달 학습과, 시각 주의를 연구 주제로 공부했습니다. 자연스럽게 시각 질의 응답 모델을 연구했습니다. 작년 CVPR 2016 학회에서 열린 Visual Question Answering Challenge에서 4위를 차지했고, 해당 연구는 NIPS 2016에서 발표했습니다. 후속 연구로 최고 점수를 갱신하여 새로운 논문으로 올해 ICLR(International Conference on Learning Representations) 2017에서 발표했습니다. 최근에는 시각 질의 응답에서 목표 중심 시각 대화로 연구를 확장하여 새로운 데이터 수집과 함께 다음 논문을 준비하고 있습니다.
Q. NIPS 혹은 ICML에서 발표하신 연구는 어떤 내용인가요.
A. 2016년도 NIPS에서 1저자로 발표한 논문의 제목은 "Multimodal Residual Networks for Visual QA" 입니다. 서울대 장병탁 교수님의 바이오지능 연구실에서 함께 연구한 이상우, 곽동현, 허민오 박사과정과 당시 네이버 랩스의 김정희, 하정우 님께서 공저자로 참여했습니다. Kaiming He 등(2015)의 연구인 ‘Deep Residual Networks’에 영감을 받아 단일 이미지 입력으로 학습하는 unimodal 학습에서 이미지와 자연어를 동시에 고려하여 학습하는 multimodal 학습으로 확장하여 시각 질의 응답 모델을 제안했습니다. 당시 시각 질의 응답 모델로 다양한 비전 처리 기술과 자연어 처리 기술이 소개됐는데, 이 연구는 잘 알려진 전처리 기술을 이용하여 이미지와 자연어에 대한 표상을 구한 후 ResNet(He et al., 2015)과 같이 지름 연결선들을 이용하여 상대적으로 깊은 층의 단순한 모델 구조를 탐색했다는 의의를 갖습니다. 정성 평가를 위해 새로운 시각화 기법을 소개하여 각 층에서 자연어로 주어진 질의문에 의해 시각 주의가 어떻게 변하는지 관찰하기도 하였습니다.
Q. NIPS와 ICML라는 학회에 대한 개괄적인 소개 부탁드립니다.
A. 두 학회 모두 30년 정도 진행된 성숙기에 진입한 학회입니다. 이 전에는 AAAI와 IJCAI라는 인공지능 학회에서 주목할 만한 연구들이 많이 나왔었는데, 기계학습이라는 세부 분야가 해당 산업의 성장과 더불어 커지면서 NIPS와 ICML로 많은 연구자들과 대중의 관심이 옮겨간 듯합니다. 특히 NIPS는 그 학회 이름에서 추측할 수 있듯이 계산신경과학 등과 같은 분야도 포함하는 인간 지능과 인공 지능에 대한 포괄적 관심을 가진 연구자들이 많았습니다. 단지, 최근에는 기계학습에 대한 연구의 비율이 높아져 ICML과 분위기가 많이 비슷해진 것 같지만 일정한 비율로 다양한 연구들이 발표되고 있습니다. 올해 5회를 맞는 ICLR은 기계학습 중에서 특히 모델을 이용하여 표상 학습을 강조하는 deep learning에 초점을 맞춘 Top-tier 학회로 급성장하고 있습니다. 구글, 페이스북 등의 후원을 바탕으로 올해 학회 규모가 두 배 이상 커졌으며 등록자가 천 명을 넘어섰습니다.
Q. 카카오는 2005년부터 2016년 사이에 NIPS와 ICML에서 발표된 논문을 메타 분석했습니다. 논문 제목을 중심으로 연구 트렌드와 주요 저자에 대한 분석을 진행했습니다.
A. 양적 분석을 바탕으로 핵심 키워드를 살펴보고 중요 논문들을 목록화했습니다. 눈에 띄는 것은, 피인용횟수가 가장 많은 논문들 중에서 deep neural network를 학습하는 방법과, 이러한 네트워크를 잘 학습할 수 있게 하는 보완 기술이나 분석 논문들을 관찰할 수 있었습니다. 하지만 연구의 범위와 주제가 다양하고, 연구자들의 네트워크 또한 회사 조직처럼 강한 연결이 아니므로 무겁게 다룰 내용은 아닌 것 같습니다.
Q. NIPS와 ICML에서 학회마다 발표되는 논문의 수가 가파르게 증가하는 경향을 보이고 있습니다. 이 추세의 배경은 무엇인가요? NIPS와 ICML 모두 2012년이 논문 수가 증가하는 변곡점으로 나타납니다.
A. 여러 가지 복합적인 요인에 의해서가 아닐까 합니다. 미국 대학들에서 컴퓨터 관련 전공 학생 수를 늘리고 대학원 과정의 규모를 키워왔습니다. 학회에서 발표되는 논문 상당수는 연구 조직을 갖춘 글로벌 기업들에서도 비롯됩니다. 연구 조직의 공격적인 채용과 재원 투자가 그 배경이 됩니다. 이러한 현상에는 설명 가능한 많은 요인이 있겠지만 개인적으로 주목하는 것은 GPU를 이용한 기술의 발전이 아닐까 합니다. GPU 컴퓨팅의 선두 주자인 NVIDIA의 주가 곡선을 살펴보면 그 맥락을 같이 하며 지난 2016년 NIPS가 열린 12월에 주가가 급성장한 것은 우연의 일치만은 아닐 것 같습니다.
Q. NIPS 논문의 제목 단위로 분석하면, 2005년부터 2011년까지 learning 이 가장 높은 빈도를 보였습니다. 그러나, 2012년 deep, networks, neural, classification, imagenet, convolutional 이 learning 보다 높은 빈도를 기록했습니다. 논문 제목에만 한정된 분석이지만, “deep”의 빈출 정도는 2012년 이전과 이후가 확연한 차이를 보입니다. 이 결과가 의미하는 바는 무엇인가요?
A. 기존의 인공 신경망과 달리 더 많은 층을 쌓아서 학습할 수 있는 다양한 방법이 제안되고 있습니다. 기본적인 단위 기술들의 반복적인 적용으로 성능을 비약적으로 향상할 수 있다는 생각은 GPU computing 기술의 발달과 더불어 정부와 기업들에게 많은 연구 투자를 받게 된 계기가 되었습니다. 또한 기본적인 단위 기술들이 중요해지면서 개발 방법론을 응용한 deep learning framework들의 등장도 촉진하게 된 배경이 됐습니다.
Q. 전반적으로 NIPS 연구의 중심은 learning에 있습니다. AI 연구에서 learning에 대한 주목도가 높은 이유는 무엇인가요?
A. 전통적인 인공지능은 전문 지식을 가진 전문가 그룹이 규칙들을 개발하여 자동 계산하는 방식을 선호했습니다. 하지만 인공지능이 풀고자 하는 문제가 점점 복잡해지면서 대용량의 데이터를 수집하여 자동적으로 규칙을 학습하게 하는 learning에 주목하게 된 것 같습니다.
Q. NIPS와 ICML에서 발표된 논문 중 인용 상위 논문을 중심으로, AI 연구의 흐름을 살펴본다면 어떨까요.
A. Krizhevsky et al. (NIPS 2012)의 연구는 이미지 분류 문제를 풀기 위해 전통적인 전문 지식을 활용한 특징 추출 방법을 떠나 deep convolutional neural networks를 제안하여 자동적으로 그러한 특징을 추출할 수 있는 방법을 제안했습니다. Mikolov et al. (NIPS 2013)의 연구는 자연어 언어 처리에서 단어를 나타내는 특징 벡터를 자동으로 추출할 수 있는 방법을 neural networks의 틀 안에서 소개하였습니다. 두 연구 모두 learning에 대한 주목도를 보여줍니다. Nair & Hinton (ICML 2010)에서 소개된 ReLU는 일반적인 deep neural networks에서 gradient diminishing 문제를 일부 해소하는 단순한 방법으로 현재까지 많이 이용되고 있는 활성 함수(activation function)입니다.
Q. 특정 논문 그리고 특정 단어 중심의 연구가 이뤄지는 경향성이 확인됩니다. AI 연구 역시도 일종의 유행이 있는 것으로 판단됩니다. 학계에서의 이러한 유행은 어떤 결과를 가져올까요.
A. 학계에서 유행이라는 표현은 조심스럽게 다뤄야 할 필요가 있지만 일반적인 관점에서 보자면, 해당 분야에 대한 활발한 논의와 연구를 토대로 빠르게 탐색할 수 있다는 장점이 있습니다. 그러나 자칫 속도 경쟁에 치우치게 되면 incremental 연구 결과들이 나오고 혁신성이 떨어질 수 있어 주의해야 합니다. 공개 코드는 이러한 현상을 가속화할 수 있습니다. 공개 코드는 관심 있는 연구자들이 빠르게 SOTA(state-of-the-art, 현재 최고 수준) 결과를 낼 수 있도록 하여 해당 연구를 활성화시킨다는 장점이 있지만, 상대적으로 모델의 일부나 학습 변수를 수정하여도 손쉽게 성능을 올릴 수 있는 가능성이 있습니다. 이러한 유행은 정부나 기업의 연구 지원 규모를 늘리는 계기가 되기도 하지만, 연구 주제에 편향을 가져와 연구의 다양성을 해칠 수 있다는 단점 또한 있으므로 주의할 필요가 있습니다.
Q. NIPS와 ICML에서 발표되는 연구 논문이 다소 차이는 보이는 까닭은 무엇이며, 두 학회에서 발표된 연구 결과는 각각 어떤 분야 그리고 어떤 산업에 중요한 영향력을 행사하며, 그 양상은 어떠한 지 구체적으로 설명 부탁드립니다.
A. NIPS는 인간 지능과 인공 지능에 대한 포괄적 주제를 다루는 학회였지만, 최근에는 기계학습에 대한 비중이 높아져 ICML과 비슷한 연구들이 발표되고 있습니다. 적어도 산업에서는 NIPS 학회에 대한 관심이 더 큰 것 같이 느껴집니다. 아마도 인간 지능과 인공 지능에 대한 포괄적 탐색이 대중이나 산업에 더 선호도가 있던 것이 아니었나 생각합니다.
Q. NIPS와 ICML의 지난 10년간 나온 연구 논문 제목의 주요 단어를 종합하면, AI 연구를 “신경망 모델을 통해 학습을 최적화하기 위한 체계를 좇는 연구"로 정리될 수 있을 것 같은데, 어떻게 보시는지요.
A. 정리하신 자료에서 살펴보면 신경망 모델이 아닌 기계학습 방법론도 관찰됩니다. NIPS 2016 제출 논문의 연구 주제를 분석해보면 약 25%가 deep learning 또는 신경망 모델에 대한 연구임을 알 수 있습니다. 따라서 언론이나 대중매체를 통해 접하는 기계학습과 실제 연구자들의 생각은 조금 차이가 있을 수 있다는 생각이 듭니다.[1]
Q. 앤드류 응, 제프리 힌튼, 얀 르쿤, 요슈아 벤지오, 데미스 하시비스와 같은 대중에게도 널리 알려진 연구자 외에 최근 AI학계에서 주목받는 학자는 누구이며, 어떤 연구로 인해 주목을 받고 있는지 알려주세요.
A. 자료에서 언급된 이홍락 교수님을 제외하면 뉴욕대의 조경현 교수님이 계시지 않을까요? 개인적으로는 순환신경망의 일종인 GRU의 고안자로, 그리고 자연어 처리, 기계 번역 연구의 선구자로 알려진 분입니다.
글 | 김진화 : jnhwkim@snu.ac.kr
서울대학교에서 인지과학전공 박사수료를 하였다. 바이오지능 연구실의 장병탁 교수님의 지도를 받으며 인공지능과 기계학습을 연구하고 있다. 구체적으로는 멀티모달과 주의 모델에 대한 관심을 바탕으로 시각적 질의 응답과 대화 모델을 연구하고 있다. 현재는 Facebook AI Research(Menlo Park, CA)에서 연구 인턴으로 근무하고 있으며 오는 5월 말 귀국 예정이다. 가끔씩 Torch7 rnn contributor로 활동한다.
[1] 참고 | http://www.tml.cs.uni-tuebingen.de/team/luxburg/misc/nips2016/index.php
[카카오 AI 리포트] Vol. 3 는 다음 내용으로 구성되어 있습니다.
[1] Research - AI 연구 지금까지의 발자취
01. 정수헌, 김대원 : ICML과 NIPS 발표논문 6,163건 메타 분석
02. 김진화 : AI연구자들이 열광하는 ICML, NIPS (이번글)
03. 엄태웅 : 딥러닝 연구의 현재와 미래 part 1.(1/2)
[2] Industry - AI, 혁명의 주역
04. 노명철, 이주영 : [AI in kakao] 사진에서 사람을 읽다
[3] Information
