by
Seed Enabler
Feb 18. 2023
이렇게 와닿을 줄이야.
Attention is all you need
요새 신문이나 돌아다니는 이야기 속에 챗 GPT에 대한 이야기를 자주 듣는다.
Machine Learning까지는 아니었어도 학습되는 알고리즘에 관심도 있었고, 나름 개발도 해본 경험이 있답시고, AI 관련된 이슈가 나오면 으레 관심을 기울이는 척을 해본다.
그것은 내 20년 넘는 공학자 히스토리를 적어도 내 자신은 잊지 않겠다는 몸부림이기도 하다.
간만에 공학자인 척, 챗 GPT의 영상을 찾아보다, 영상에 소개된 구글 논문 제목에 무릎을 쳤다.
'Attention is all you need!' 누가 이렇게 기가 막힌 제목을 지었을까?
Attention 기법을 이용하여 언어의 기술진화를 이루었다고 말하는 이 제목을 몇 번이고 되뇔 수밖에 없었다.
코칭을 하면서 많이 들은 문장을 꼽으라면, 'Here and Now' 가 독보적 1위이다.
사실 난 Here and Now라는 말을 좋아하지 않는다.
너무 흔한 말은 본연의 색이 빠져 너무 평범하고 진부하다.
그럼에도 그 말이 지닌 의미는 여지없이 담백하고 깔끔하다.
과거는 이미 지나간 찰나이고, 미래는 다가오지 않아 우리가 알 수가 없다.
과거의 후회도, 미래의 불안도 현재의 내가 잡을 수 없는 것이다. 지금 이 순간에 엉뚱한 녀석이 궁둥이를 붙이지 못하게 나는 지금, 바로 여기에 집중해야 한다.
그런데 과연 무엇에 집중해야 할까?
그것을 명확하게 알고 있을까?
심호흡 하나를 의식적으로 한다 해도 머릿속에 0.1초 단위 아니 0.01초 단위의 오만 가지 생각 중에 주인이 누구인지 알 수도 없는 덩어리들이, 의식과 무의식으로 나눠져, 나의 지금에 파고든다.
파고든 것들은 수많은 생각을 낳거나, 감정으로 이어져 지금 이 순간의 나의 시야를 흐려놓는다.
흩트려진 정신을 가다듬고, 흐려진 시야를 선명하게 하려면 그 순간에 필요한 오직 하나는 'Attention' 이다.
지금 여기의 순간에 온 마음을 다해 초점을 맞춰보는 'Attention'작업의 합은 나의 10분이 되고, 나의 한 시간이 된다.
한 시간이 이어진 끈을 잡고 걷다 보면 하루가 되고, 30일이 모여 한 달이 된다.
이 과정의 축적을 거치다 보면 마치 애벌레가 번데기로, 번데기가 나비가 되는 transformation이 일어난다.
그 과정의 최초의 시점이 결국 Here and Now다.
Attention 기법 역시도 언어적 transformer를 이루지 않았는가.
그러니 'Attention is all you need'라는 이 문장은, 단지 'AI 알고리즘 내 특정 단어에 집중하는 방법이다'라고만 말하기에는, 기가막히게 삶의 질적 본질의 핵심과 완벽히 맞닿아 있다.
기술은 사람을 모방하여 진화하고 있다는데, 그 기술은 순환하여 다시 삶의 본질을 끌어내고 있는 걸까?
왠지 Attention 기법을 들여다보며, 나 자신의 Attention을 어떻게 가져가야 하는지 인공지능의 지혜를 빌려야 할 수도 있겠다.