Attention : Conscious AI의 핵심
by Prof. Yoshua Bengio
주) 이 글은 몬트리올 대학 교수, MILA 디렉터이자 엘리먼트 AI의 공동 창업자이신 Yoshua Bengio 교수님이 ICLR 2020에서 하신 강연 중 하나에 대한 VentureBeat의 기사입니다. 작년부터 특히 Bengio 교수님이 System 2 Learning, Causal Learning 등 다음 세대 인공지능의 모습에 대해서 많이 말씀하셨는데, 그런 맥락에서 Conscious AI로 가기 위한 하나의 도구로 Attention Mechanism을 주목하고 계신 것 같습니다. 원문은 여기서 보실 수 있습니다.
전염병 때문에 이번 주에 가상으로 열린, 국제 표현학습 컨퍼런스 (ICLR) 2020에서 튜링상 수상자이자, 몬트리올 알고리즘 학습기관 (MILA), Element AI의 공동창업자인 요슈아 벤지오는 AI 및 머신러닝 기법의 미래에 대해 간략하게 조망하였습니다. 벤지오 교수는 2월 뉴욕에서 열린 AAAI 컨퍼런스에서 튜링상의 공동 수상자인 제프리 힌튼 및 얀 르쿤과 함께 강연했습니다. 하지만 월요일에 공개된 강연에서 벤지오 교수는 그의 초기 테마들에 대해 상세하게 설명했습니다.
그중 하나는 주의 (Attention)과 관련된 것입니다. 여기서의 ‘주의’는 인간 (혹은 알고리즘)이 특정 시점에 하나 혹은 소수의 사물에 집중하는 메커니즘을 일컫습니다. 이 ‘주의’라는 개념은 구글의 트랜스포머와 같은 머신러닝 모델 아키텍처와 막다른 길에 봉착한 의식과 관련된 뇌과학적인 이론 두 분야의 핵심적인 부분입니다. 의식과 관련된 뇌과학적인 이론은 인간이 갖고 있는 ‘주의’와 관련된 자원은 한정되어 있기 때문에 특정 정보가 뇌에 도달하면 핵심적인 일부의 정보만 제한적으로 전달된다는 것입니다. ‘주의’를 기반으로 한 모델은 이미 자연어 처리(NLP)와 같은 분야에서 독보적인 결과를 달성하였으며, 과중한 인지적인 노동을 필요로 하는 임직원들을 도와줄 수 있는 기업향 AI의 기초가 되기도 하였습니다.
벤지오 교수는 이스라엘계 미국인 심리학자이자 경제학자인 대니얼 카너먼의 “생각의 관한 생각” 에서 제시된 인지체계에 대해 설명했습니다. 첫 번째 유형은 ‘무의식’입니다. 무의식은 본능적이고, 빠르며, 언어를 사용하지 않고 습관적입니다. 또한 무의식은 드러나지 않은 형태의 함축적인 지식에만 관련되어 있습니다. 두 번째 유형은 의식입니다. 의식은 언어적이고 알고리즘적입니다. 또한 추론과 계획을 포함하며, 표현된 형태의 지식과 관련되어 있습니다. 의식체계의 흥미로운 특징은, 이 의식체계가 의미론적인 개념을 조작해서 새로운 상황에도 적용할 수 있다는 점입니다. 벤지오 교수는 이러한 특징이 AI와 머신러닝 알고리즘에서 특히 선호된다고 언급했습니다.
현재의 머신러닝에 대한 접근법은 무의식 단계를 넘어 완전한 의식 단계에 이르지 못하였습니다. 하지만 벤지오 교수는 이 단계의 전환이 충분히 가능하다고 주장합니다. 그는 뇌과학 연구에서 의식적인 사고 과정에서 사용되는 의미론적인 변수가 주로 인과관계에 있음이 밝혀졌다는 점을 들어 - 여기서 인과관계는 특정 의도와 조작 가능한 사건을 의미합니다 - 의미론적 변수와 사고 과정 사이를 서로 매핑할 수 있다는 것에 대한 중론이 만들어졌다고 주장했습니다. 이러한 매핑은 단어 및 문장 간의 관계를 의미하기도 하고, 새롭거나 친숙하지 않은 개념을 형성하기 위해 기존의 개념들이 재조합되는 것을 지칭하기도 합니다. 벤지오 교수에 의하면 이러한 ‘주의’는 이 모든 과정에서 가장 핵심적인 재료로 볼 수 있습니다.
이에 덧붙여, 벤지오 교수 및 동료들은 최근 논문에서 반복적인 독립 메커니즘 (Recurrent Independent Mechanisms: RIMs)이라는 개념을 제시하였습니다. 이는 다수의 세포들이 ‘주의’를 통해서만 드물게 서로 커뮤니케이션하며 독립적으로 동작하는 새로운 모델 아키텍처를 의미합니다. 논문을 통해 이러한 작동방식이 RIM에 특화되어 있음을 확인할 수 있으며, 이를 통해 모델의 훈련 및 평가 과정에서의 배리에이션과 관련된 일부 요소들을 일반화하는 작업을 향상시킬 수 있습니다.
벤지오 교수는 덧붙였습니다. “이는 에이전트가 분포의 변화에 보다 빠르게 적응할 수 있도록 도와주고… 이러한 변화가 왜 발생했는지 이유를 찾는 추론과정에 도움을 준다”
그는 의식 시스템으로 가는 여정 중에 마주하게 될 많은 도전 과제들 - 예를 들어, '모델이 메타 러닝 할 수 있도록 가르치는 것(또는 데이터에 내재되어 있는 인과관계를 이해하는 것)', '머신러닝과 강화 학습 간 보다 긴밀하게 통합하는 것' 등 -도 언급하였습니다. 하지만 그는 생물학적인 접근과 AI 연구의 상호작용이 결국에는 사람처럼 추론할 수 있는 - 심지어 감정을 표현할 수도 있는 - 기계를 만드는 열쇠가 될 것이라는 것이라고 확신합니다. “의식은 뇌과학에서 주로 연구되어 왔습니다… 최근 수십 년간 수많은 진척이 있었죠. 저는 지금이 머신러닝 학계가 이러한 진일보를 고려하고 이를 머신러닝 모델에 접목해야 하는 시점이라고 생각합니다.”
