부처님이 인도(人道)에서 태어난 이유?
부처님 오신 날을 맞아
생후 40개월인 우리 아들은 아침마다 물어본다. 오늘 빨간 날이냐고. 평일은 유치원을 가고, 휴일은 엄마, 아빠와 노는 날이라는 것을 알기 때문에 빨간 날만 기다리는 녀석.
그런 아이에게 5월은 나쁘지 않은 달이다. 근로자의 날(아빠는 근로자가 아니라 출근했지만)과 어린이날을 맞아 유치원을 가지 않고 집에서 놀아 신이 난 아들. 그런데 내일인 5월 15일도 유치원을 안 간다는 사실을 알고는 엄청 신이 나 있다.
아들 : 내일은 무슨 빨간 날이야?
아빠 : 부처님 오신 날이라서 쉬는 거야.
아들 : 부처님이 온다고? 우리 집으로 오는 거야?
아빠 : 부처님이 인도에서 태어나신 것을 축하하는 날이야.
아들 : 그럼 차도에서 태어난 사람은 누구야?
아빠 : 차도? 응?
아들 : 부처님 인도에서 태어났다며. 차도에서는 누가 태어난 거야?
그렇다. 집에서도 유치원에서도 교통과 관련된 교육을 많이 해서 인도로만 다녀야 한다는 사실을 배우다 보니, 아이에게 인도는 사람 다니는 길로만 인식되고 있다. 그러니 부처님이 인도에서 태어났다고 하니, 의아한 감정과 함께 차도에서는 누가 태어났나 궁금해하는 것이다.
아이에게 언어를 가르치는 것은 정말 쉽지 않은 일이다.
마찬가지로 인공지능에게도 언어를 가르치는 것은 쉽지 않다. 딥러닝 초창기 시절에는 CNN과 RNN이라는 기술을 통해 문장을 학습하였다. 하지만 이들 방식은 주변 단어들을 기반으로 학습을 하거나, 순차적으로 학습을 하기에 문장의 문맥을 파악하기 어려웠다.
그때 혜성과도 같이 등장한 방식이 '어텐션(Attention)' 메커니즘을 활용한 트랜스포머(Transformer) 방식이다. 2017년 구글에서 발표한 <Attention is All You Need>라는 논문에 등장한 자연어 처리 모델 트랜스포머는 이후 세상을 바꿔놓는다. 우리가 잘 알고 있는 챗GPT의 'T'가 바로 트랜스포머의 T이다. (인공지능의 어텐션과 뉴진스의 '어텐션'을 연결한 글은 이전에 작성한 바 있습니다. 링크 : 아기도 인공지능도 좋아하는 뉴진스 )
어텐션은 정말 간단하게 설명하면, 어떤 문장이 입력됐을 때, 특정 부분에 더 집중(Attention)하는 것이다. 이 과정을 통해 다음 출력 단어 예측 순간마다 입력된 전체 문장과 출력하는 단어를 집중해서 살펴보게 된다. 아래 그림을 보면 좀 더 이해가 쉽다. 잘 학습된 어텐션 모델은 '거기'에 대응하는 곳이 '카페'라는 것을 알 수 있다. 또한, '갔었어'와 '거기'도 연관이 있다는 것도 확인한다. 이처럼 문장 전체를 보고 의미를 파악한다는 점이 어텐션을 기반으로 하는 트랜스포머의 핵심이며, 이는 사람과 같이 대화하는 자연어 모델을 가능케 하였다.
만약 트랜스포머가 '부처님이 인도에서 태어났어'를 해석한다고 해보자. 대화 앞뒤에 나온 '부처님 오신 날'을 어텐션 하기 때문에, 대화 속 인도는 부처님 생신과 관련이 있음을 확인할 수 있다. 또한, 챗GPT와 같이 과거 학습한 텍스트를 이용할 경우 부처님이 태어난 인도는 당연히 인디아를 의미한다는 것 역시 쉽게 알아낼 수 있었다. 하지만 우리 아이는 인도가 나라를 의미하는 인디아라는 것을 학습한 적이 없었기에, 본인에게 인도는 그저 사람이 걷는 길이 될 수 밖에 없었다.
어텐션 결과 (출처 하단 명기)자연어를 익히는데 주력하던 트랜스포머는 영화처럼 또 한 번의 변신을 꾀하고 있다. 스탠퍼드 연구진은 2021년 8월, 트랜스포머를 '파운데이션 모델(foundation model)'이라 칭한 바 있다. 파운데이션 모델로 진화한 트랜스포머는 단순 텍스트 학습을 넘어 이미지, 음성 등을 학습하여 다양한 영역에서 활용할 수 있다고 연구진은 밝히고 있다. 그러면서 트랜스포머는 AI의 패러다임 변화를 견인한다고 이야기한다.
파운데이션 모델로 인한 인공지능계의 패러다임 변화는 현재 진행형이다. 바로 오늘인 2024년 5월 14일. 챗GPT의 오픈AI는 새로운 버전인 'GPT-4o'를 출시했다. 텍스트 기반의 챗GPT를 업데이트하여, 텍스트, 이미지, 영상을 통합하는 멀티모달(Multimodal, 다중 모드) 모델로 변신한 것이다.
좀 더 쉽게 이야기하자면 영화 'Her'의 AI 인 '사만다'를 현실화했다고 볼 수 있다. 사용 편의성이 극대화되고 이제 음성으로 대화가 가능해진다. 어텐션을 기반으로 하는 트랜스포머 기술이 점점 현실로 녹아들고 있다. 오늘 새벽 발표된 내용은 아래 기사에서 확인 가능하다.
부처님 오신 날을 완벽히는 아니지만 살짝 이해한 우리 아들. 부처님과 함께 기억하고 있던 예수님이 갑자기 생각난 녀석은 예수님의 탄생에도 관심을 가진다.
그럼 예수님은 차도에서 태어난 거야?
아, 아직 인도에 대해 이해를 못 했구나. 더불어 이상한 곳에서 태어났다고 오해를 받은 예수님과 부처님께 사과의 말씀을 함께 전합니다.
인코더, 디코더 등 이론적 배경을 최대한 생략하고 트랜스포머에 대해 설명하려고 하니 정말 쉽지가 않네요. 이론적으로 더 궁금하신 분들은 아래 링크 참조하시면 도움이 되실 겁니다. 본문의 이미지도 아래 링크에서 가지고 왔습니다.
https://ratsgo.github.io/nlpbook/docs/language_model/transformers/
