어텐션을 못 받은 남자, 드미트리 바다나우
[야만인] 인공지능 발전의 뒷이야기
오늘날 AI의 심장인 트랜스포머 Transformer를 만든 아시시 바스와니 Ashish Vaswani와 그의 동료들은 유명합니다. 하지만 그 거대한 탑을 쌓을 수 있게 한 핵심 기술, 어텐션 Attention을 최초로 발명한 진짜 주인공이 그 화려한 그늘에 가려져 있다는 사실을 아시나요?
바로 벨라루스 Belarus의 젊은 천재, 드미트리 바다나우 Dzmitry Badanau입니다.
동유럽의 조용한 나라 벨라루스 Belarus에서 태어나느 그는 어릴 적부터 숫자와 문제 해결에 남다른 애정을 보였습니다.
2009년 벨라루스 대표로 국제 정보 올림피아드(IOI)에서 수상
프로그래밍 대회 플랫폼인 코드포스 Codeforces에서 rizar라는 닉네임으로 활동하며 실전 코딩 감각을 키움
이후 독일 제이콥스 대학 Jacobs University Bremen으로 진학한 그는 하버드 Harvard University 예거 Werner Jaeger 교수와 연구하며 복잡한 시스템이 정보를 처리하는 방식에 깊이 파고들었고, 이 강렬한 호기심은 그를 자연스럽게 인공지능과 자연어 처리라는 거대한 미지의 세계로 이끌었습니다.
대학 졸업 후, 그는 딥러닝의 성지라 불리는 캐나다 몬트리올 대학 Université de Montréal의 요수아 벤지오 Yoshua Bengio 연구실 MILA(Montreal Institute for Learning Algorithms, Mila - Quebec Artificial Intelligence Institute)에 인턴으로 합류합니다. 이곳에서 그의 인생, 그리고 AI의 역사를 바꿀 중요한 만남이 이루어집니다.
당시 MILA에서는 대규모 기계번역 프로젝트가 진행 중이었고, 이 프로젝트를 이끌던 인물이 바로 조경현 교수였습니다.
바다나우는 조경현 교수와 함께 모델 구현과 실험을 주도하는 핵심 연구자로 성장하게 됩니다.
기존 순환신경망(RNN) 모델의 한계를 고민하던 어느 날, 바다나우는 자신의 중학교 시절 영어 번역 과제를 떠올렸습니다.
영어가 서툴렀던 그는 번역할 때 문장을 순서대로만 읽지 않았습니다. 한 단어를 번역하고는 다시 원문의 앞쪽을 쳐다보고, 다음 맥락을 이해하기 위해 뒤쪽으로 건너뛰며 눈을 바쁘게 움직였습니다.
그는 이것이 순차적인 흐름이 아니라, 필요할 때마다 자유롭게 점프하며 정보를 참조하는 비선형적인 과정임을 깨달았습니다.
바다나우는 이 인간적인 직관을 수학적 모델로 옮기기 시작했습니다. 처음에는 원문과 번역문을 오가는 두 개의 커서 모델 Cursor Model로 구상했으나, 곧 더 대단한 해결책을 고안해 냈습니다.
디코더 Decoder가 단어를 내맽을 때마다 원문의 어느 부분을 참고할지 스스로 결정하게 만든 것입니다.
이를 소프트맥스 Softmax 확률분포로 표현하여, 특정 위치 하나가 아니라 여러 위치를 가중치에 따라 동시에 조금씩 참조하는 미분 가능한 가중 평균, 즉, 어텐션 Attention의 원리를 구현해 냈습니다.
2014년 9월, 바다나우는 벤지오, 조경현 교수와 함께 이 혁신적인 아이디어를 담은 논문 <Neural Machine Translation by Jointly Learning to Align and Translate>을 세상에 내놓았습니다.
반응은 폭발적이었습니다. 기계가 문맥에 따라 중요한 정보에 주목 Attention한다는 이 개념은 RNN의 고질적인 기억력 문제를 단숨에 해결했습니다. 해당 논문은 현재까지 10만 회 이상 인용되며, AI 연구의 교과서가 되었습니다.
세계적인 명성에도 불구하고 바다나우는 놀라울 만큼 겸손합니다. 그는 어텐션의 탄생을 자신의 천재성보다는 팀워크와 환경 덕분으로 돌립니다. 벤지오의 통찰력, 조경현의 리더십, 그리고 자신의 코딩 실력이 맞물린 결과였다는 것입니다.
그는 거창한 이론가라기보다, 실제 문제를 해결하는 거대 프로젝트를 통해 기술이 발전한다고 믿는, 실행력 강한 실용주의적 엔지니어 과학자의 면모를 보여주었습니다.
현재 바다나우는 서비스나우 리서치 ServiceNow Research의 부사장이자 MILA의 핵심 멤버, 맥길 대학 McGill University의 교수로 여전히 최전선에 있습니다.
그는 과거의 영광에 안주하지 않고, TapeAgents, Edge Transformer, LAGr(Labeling Aligned Graphs for Improving Systematic Generalization in Semantic Parsing) 같은 프로젝트를 통해 자연어 이해, 신경-기호 융합 Neuro-Symbolic 등 더 복잡하고, 고차원적인 AI 문제에 도전하고 있습니다.
바다나우는 단순히 똑똑한 AI를 만드는 것을 넘어, 인간과 AI의 관계를 고민합니다.
적은 데이터로도 효율적으로 배우고, 윤리적으로도 신뢰할 수 있으며, 언어 인터페이스를 통해 누구나 쉽게 도구로 활용할 수 있는 AI. 이것이 그가 꿈꾸는 세상이며, 그는 오늘도 그 미래를 현실로 앞당기기 위해 조용히, 그러나 치열하게 연구를 이어가고 있습니다.
(참고)
https://stats.ioinformatics.org/people/667
https://codeforces.com/profile/rizar
이연주
컴퓨터과학을 전공하며 기술의 원리를 이해하는 동시에, 그것이 사람들에게 어떤 의미를 가질 수 있는지에 관심을 가져왔다. 재미와 가치를 함께 만드는 일을 목표로 하고 있고, 앞으로도 인공지능 분야에서 계속 성장하고 싶다.
적송 권건우 redpine71@wedatalab.com blog.naver.com/redpine71
공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구 끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.
現 위데이터랩 대표이사 www.wedatalab.com
現 세계진소왕태극권총회 서울분회장 www.chenxiaowang.kr
前 삼성SDS technical architect
#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권
루나 허령 brunch.co.kr/@hvnpoet
컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.
#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병
