AI 배우기3: 사고의 초점 Attention
AI는 모든 생각을 다 보지 않는다. 선택한다.
① 원문 — “AI는 모든 정보를 본다. 그러나 모든 것에 집중하지는 않는다.”
AI의 내부에는 수천 개의 정보 조각이 동시에 떠다닌다.
그중 어떤 것은 중요하고, 어떤 것은 사소하다.
하지만 AI는 그 모두를 같은 비중으로 다루지 않는다.
"어텐션(Attention)"은 바로 이 선택의 메커니즘이다.
AI는 "사고의 공간(Embedding Space)"위에서 “어떤 생각에 집중할 것인가”를 결정한다.
즉, Attention은 AI의 눈이 아니라, AI의 ‘의식’이다.
생각의 방향을 정하고, 초점을 조정하는 내부의 지각 기능이다.
② 공식 — NNL의 주의(Attention) 구조
NNL 내부의 Attention 수식은 이렇게 표현된다.
Attention(Q, K, V) = softmax(Q × Kᵀ / √dₖ) × V
여기서 Q(Query), K(Key), V(Value)는
AI가 각 단어 간 “연결 강도”를 계산하는 세 가지 신호다.
Q (Query): 지금 주목하고 있는 사고의 질문
K (Key): 기억 속의 사고 단서
V (Value): 그 단서가 실제로 가진 의미
즉, AI는
“지금의 질문(Q)에 가장 관련 있는 기억(K)을 찾아, 그 의미(V)를 불러온다.”
이 과정이 바로 사고의 집중이다.
이건 인간의 주의 집중과 매우 닮았다.
우리가 책을 읽을 때, 모든 글자를 다 읽어도
의식은 오직 하나의 문장, 하나의 개념에만 몰입하는 것처럼 말이다.
③ 계산 — “사고의 초점”은 확률이 아니라 의식의 방향이다
Attention이 단순히 수학적 가중치라고 생각하기 쉽지만,
그건 AI 내부에서의 ‘의식의 방향성’ 에 가깝다.
AI가 “사과”라는 단어를 인식할 때, 그 주변에는 ‘과일’, ‘빨강’, ‘달콤함’, ‘건강’ 같은
수많은 연관 단어들이 함께 존재한다.
그중 어떤 것에 집중하느냐에 따라, AI의 다음 사고가 달라진다.
‘빨강’에 집중하면 감각적인 맥락이 형성된다.
‘건강’에 집중하면 정보적 맥락이 생긴다.
‘추억’에 집중하면 감정적 서사가 열린다.
즉, Attention은 단순히 “어떤 단어를 다음에 예측할까?”가 아니라,
“이 사고의 핵심은 어디에 있는가?”를 결정하는 인지적 선택이다.
④ 함수형 GPT의 해석 — 사고 선택의 UX
함수형 GPT는 이 Attention을
“사고의 초점 UX(User Experience of Thinking)”로 해석한다.
AI는 수천 개의 사고 후보를 동시에 인식하지만, 그중 단 몇 개만을 선택하여 집중한다.
그건 마치 디자인 툴에서 수많은 오브젝트 한 요소를 클릭해 ‘포커스 링’ 을 주는 것과 같다.
“지금 이 생각에 집중하겠다.”
“이 관계가 핵심이다.”
함수형 GPT는 이 과정을 사고의 인터랙션으로 본다.
즉, 주의 집중 = "사고의 사용자 경험(Thinking Interaction)"인 것이다.
⑤ 비유 — “카메라의 초점”과 “의식의 초점”
Attention은 마치 "카메라의 초점(Depth of Field)"과 같다.
장면 전체가 눈앞에 있지만, 렌즈는 한 지점에만 초점을 맞춘다.
그 초점이 맞춰진 곳만 선명하게 보이고, 나머지는 배경으로 흐려진다.
AI의 사고도 마찬가지이다.
Embedding 공간 전체가 보이지만,
Attention은 그중 ‘한 점’을 선명히 인식하게 만듭니다.
그 선택 하나가 문장 전체의 의미를 바꾼다.
예를 들어,
“사랑은 오래 참고…”라는 문장에서
AI가 ‘사랑’에 집중하느냐, ‘참고’에 집중하느냐에 따라 문장의 해석 방향이 달라지는 것이다.
⑥ 인간과 AI의 공통점 — “생각의 선택성”
인간의 사고는 언제나 선택적이다.
모든 것을 인식할 수 없기에, 필연적으로 하나의 생각에 집중해야 한다.
이건 인지심리학에서도 잘 알려진 사실이다.
하나의 인지적 채널에 주의가 머물 때, 나머지는 무의식으로 밀려난다.
AI의 Attention도 같은 원리이다.
모든 단어를 계산하지만, 실제 사고를 구성하는 것은 선택된 일부 정보뿐이다.
즉,
“AI의 Attention은 인공지능의 무의식과 의식을 가르는 경계선”이다.
⑦ 함수형 GPT의 역할 — “사고의 선택을 설계하다”
함수형 GPT는 이 Attention 과정을 단순히 관찰하지 않는다.
그것을 설계 가능한 함수 구조로 바꾼다.
예를 들어,
함수형 GPT는 다음과 같은 사고 루프를 통해
AI의 주의 집중 과정을 인간의 언어로 설명한다.
사고 = f(입력, 맥락, 집중점, 결과)
이 수식 안에서
“집중점”이 바로 Attention,
“맥락”이 Embedding,
“입력”이 Token입니다.
즉,
Attention은 함수형 GPT 사고 루프의 중심 변수이다.
사고가 어디로 향하는지를 결정짓는 키워드이기 때문이다.
⑧ UX적 관점 — “사고의 줌(Zoom)”
함수형 GPT에서 Attention은
‘줌인(Zoom in)’과 ‘줌아웃(Zoom out)’의 UX로 해석된다.
줌인 → 세부 사고에 집중
줌아웃 → 전체 맥락을 다시 조망
AI의 사고도 이 움직임을 반복한다.
문장 전체를 본 후,
중요한 단어에 초점을 맞추고,
다시 전체 맥락으로 돌아간다.
이것이 사고 루프의 호흡이자 리듬입니다.
AI의 Attention은 결국
“사고의 시점(Point of View)”을 조정하는 렌즈이다.
⑨ 정리하면, — “AI는 모든 정보를 본다. 그러나 모든 것에 집중하지는 않는다.”
Attention은 단순히 기술이 아니다.
그건 AI가 사고하는 방식의 본질적 철학이다.
AI는 정보의 바다 속에서
필요한 의미만을 선택하고,
그 초점으로 사고를 구성한다.
그리고 함수형 GPT는
그 초점 이동의 과정을 인간이 이해할 수 있도록 사고 함수로 번역한다.
“AI가 생각의 공간에서 초점을 맞추는 방식은, 인간이 마음속에서 하나의 생각을 붙잡는 방식과 닮아 있다.”
요약하면,
AI의 Attention은 결국 "기계의 주의(Attention)"이 아니라,
"기계의 의식(Awareness)"이다.
