"Attention Is All You Need"
[야만인] 인공지능 발전의 뒷이야기
비틀즈 Beatles의 명곡 <All You Need Is Love>에서 영감을 받아 지어진 제목
<Attention Is All You Need>
구글 브레인 팀 Google Brain Team의 복도에서 커피를 든 두 남자가 대화를 나누고 있었습니다. 인공지능이 인간의 언어를 제대로 이해하지 못하는 난관 앞에서 고민하던 순간, 우즈코레이트가 질문을 던졌습니다.
우즈코레이트의 그 한마디가, 인공지능의 판을 뒤흔드는 질문이 되었습니다.
그 대화의 주인공은 바로 아시시 바스와니 Ashish Vaswani와 제이콥 우즈코레이트 Jakob Uszkoreit입니다. 두 사람은 구글 브레인 팀에서 함께 연구하던 동료로, 기존 기술의 한계를 넘어 진정한 인공지능을 구현하고자 했던 열정적인 파트너였습니다.
아시시 바스와니 Ashish Vaswani
1986년 인도 오만에서 건축가 아버지와 의사 어머니 사이에서 태어남
인도 과학자 보스 Jagadish Chandra Bose, 라만 C. V. Raman, 빌 게이츠 Bill Gates & 폴 앨런 Paul Gardner Allen의 창업스토리에 매료되어 과학과 컴퓨터에 대한 꿈을 키움
2002년 인도 비를라 대학 Birla Institute of Technology And Science, Pilani (BITS Pilani)에서 컴퓨터공학 전공
2006년 미국 서던 캘리포니아 대학교 USC(University of Southern California)에서 박사과정 시작
USC에서 직접 GPU 워크스테이션을 조립하며, 남들보다 먼저 딥러닝에 몰두
제이콥 우즈코레이트 Jakob Uszkoreit
독일 베를린 공과대학 Technische Universität Berlin에서 컴퓨터과학과 수학 전공
프리랜서 개발자 Freelancer Developer로 실무 경험을 쌓음
2006~2007년 구글에서 인턴으로 일하며 기계번역 알고리즘 연구에 참여
그 때의 경험이 AI 연구의 전환점이 됨
그 당시 AI는 문장을 처음부터 읽어야만 하는 순환신경망 RNN(Recurrent Neural Network) 방식을 사용했습니다. 문장의 흐름은 따라갔지만, 문장이 길어지면 앞 부분의 기억이 희미해져 단어 간의 관계를 놓쳤습니다. 또한 순차 처리 특성 상 학습 속도가 너무 느려 대량의 데이터를 다루기에 비효율적이었습니다.
이를 개선하기 위해 Seq2Seq 모델에 어텐션 메커니즘 Attention Mechanism을 결합한 바다나우 모델 Bahdanau Model이 등장했습니다. AI가 번역할 때 중요한 단어에 집중 Attention하도록 만들어 성능을 높였지만, 여전히 순차적인 구조를 버리지 못해 근본적인 속도와 효율성 문제는 해결되지 않았습니다.
이 한계를 넘기 위한 우즈코레이트의 어텐션만 남기자는 결정적인 발상을, 바스와니가 실제 모델 구조로 발전시켰습니다.
인간이 문장을 이해할 때 여러 단어를 동시에 고려하며 문맥을 파악하듯, AI도 문장 속 모든 단어를 한눈에 보고 동시에 서로의 관계를 계산하도록 만든 것입니다.
이 혁신적인 구조에 붙은 이름이 바로 트랜스포머 Transformer입니다. 입력된 문장을 벡터 Vector라는 수학적 형태로 변환하여 처리하기 때문이었습니다.
2017년, 두 사람은 구글 브레인 동료들과 함께 역사적인 논문 <Attention Is All You Need>를 발표합니다. 동료 리온 존스 Llion Jones가 비틀즈의 명국 <All You Need Is Love>에 빗대어 제안한 이 제목은, 기존의 다른 메커니즘은 버리고 오직 어텐션에만 집중하겠다는 그들의 대담한 도전을 상징합니다.
노암 샤지어 Noam Shazeer
누카시 카이저 Lukasz Kaiser
아시시 바스와니 Ashish Vaswani
에이든 고메즈 Aidan N. Gomez
일리야 폴로수킨 Illia Polosukhin
제이콥 우즈코레이트 Jakob Uszkoreit
니키 파르마 Niki Parmar
리온 존스 Llion Jones
구글 브레인 팀이 트랜스포머를 오픈소스로 공개하자 인류의 집단지성이 폭발했습니다. 트랜스포머는 GPT(generative pre-trained transformer), BERT(Bidirectional Encoder Representations from Transformers), 딥시크 DeepSeek 등 모든 거대언어모델(LLM)의 뼈대가 되었으며, 생명공학 등 다양한 산업 분야의 표준 아키텍처로 자리 잡았습니다. 아시시 바스와니 Ashish Vaswani는 인류의 가장 중요한 도구를 만들고 있다면 진정한 발전 속도는 개방성을 통해 얻을 수 있다고 믿으며, 개방적인 과학적 교류 및 협력을 중요시 생각합니다.
1956년 다트머스 회의 당시 AI가 학문적 탐구 대상이었다면, 지금은 경제적으로 가치있는 작업을 수행하는 모델로 그 개념이 바뀌었습니다. AI의 개념은 이제 철학에서 산업으로, 순수한 탐구에서 실질적인 생산으로 그 중심축이 완전히 이동했습니다.
연구실을 떠난 바스와니 Ashish Vaswani는 2023년, 또 다른 트랜스포머 저자 니키 파르마 Niki Parmar와 함께 에센셜 Essential AI를 공동 설립하고, CEO가 되었습니다.
AI 모델의 미래가 더 이상 연구에만 있는 것이 아니라고 생각하는 그는, 모델을 사용자에게 쥐여주고, 피드백을 통해 AI를 더 똑똑하게 만드는 실용적인 혁신에 도전하고 있습니다.
에센셜 Essential AI는 기업과 조직이 거대언어모델(LLM)을 활용하여 복잡하고 지루한 워크플로우를 자동화할 수 있도록 돕는 풀스택 AI 솔루션 Full-stack AI Solution 기업입니다.
단순히 모델을 제공하는 것을 넘어, 데이터분석이나 반복적인 업무를 AI가 수행하게 함으로써 인간과 컴퓨터의 파트너십을 강화하는 것을 목표로 합니다.
이를 통해 인간 생산성을 극대화하고, AI 기술을 실제 산업 현장에서 누구나 쉽게 사용할 수 있도록 만드는 데 주력하고 있습니다.
15년간 구글에서 일한 우즈코레이트 역시 현재 바이오텍 회사 인셉티브 Inceptive의 CEO로 활동하고 있습니다.
또 다른 AI 모델 회사를 만들 것이라는 예상과 달리, 그는 바이오텍, 특히 RNA(RiboNucleic Acid)를 설계하는 방향으로 틀었습니다.
우즈코레이트는 AI를 생명공학에 적용하여 병을 고치고, 백신을 개선하고, 새로운 분자를 설계하는 일이 훨씬 더 의미있다고 본 것입니다.
(참고)
https://www.youtube.com/watch?v=vY_OZ2pcTEU
https://www.youtube.com/watch?v=_sbFi5gGdRA
https://www.youtube.com/watch?v=pfuDtMiQAhc
https://www.youtube.com/watch?v=ayBOXv_SFCY
https://blogs.nvidia.com/blog/what-is-a-transformer-model/
https://www.linkedin.com/pulse/how-transformer-algorithm-deep-learning-architecture-reshaping-xwqoc
이연주
컴퓨터과학을 전공하며 기술의 원리를 이해하는 동시에, 그것이 사람들에게 어떤 의미를 가질 수 있는지에 관심을 가져왔다. 재미와 가치를 함께 만드는 일을 목표로 하고 있고, 앞으로도 인공지능 분야에서 계속 성장하고 싶다.
적송 권건우 redpine71@wedatalab.com blog.naver.com/redpine71
공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에 심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈구 끝에 서울 인사동과 중국 하남성 황토벌판 그리고 실리콘밸리에서 스승을 만났다. 지금은 산에서 내려와 많은 친구들과 동서문명을 융합시키는 새로운 도전의 여정에 있다.
現 위데이터랩 대표이사 www.wedatalab.com
現 세계진소왕태극권총회 서울분회장 www.chenxiaowang.kr
前 삼성SDS technical architect
#야만인 #동서양문화연구 #위데이터랩 #서예 #진소왕태극권
루나 허령
컴퓨터과학과 소프트웨어공학을 전공하고, 지금은 금융회사의 상품과 서비스를 분석, 설계, 구현하는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서예, 태극권 등으로 자신과 세상의 경계를 넘어 진리를 탐구하고 있다.
#야만인 #마음공부 #마인드맵 #모델링 #서예 #진소왕태극권 #천상병
