페이지 랭크 Page Rank 2
From Page Rank to LLM Attention
말을 내뱉기 전에, 혹은 어떤 행동을 하기 전에 잠시 멈칫거리는 이유가 뭔지 궁금했다. 조용한 카페에 앉아 바리스타가 커피를 내리는 모습을 지켜보거나, 메뉴판 앞에서 아주 짧은 시간 동안 망설이며(생각에 잠긴 듯 하지만) 모습을 떠올려본다. 따뜻한 아메리카노를 마실지, 부드러운 플랫 화이트를 마실지 결정하는 그 찰나의 순간, 내 머릿속에서는 셀 수 없이 많은 시나리오가 스쳐 지나갔다. 커피의 씁쓸한 맛이 혀에 닿는 감각, 창밖의 서늘한 온도, 오후 늦게 느껴질지도 모를 약간의 심장 두근거림까지.
겉보기에는 그저 침묵하며 서 있는 몇 초에 불과했지만, 뇌는 결코 쉬고 있지 않았다. 보이지 않는 거대한 시뮬레이션을 돌리며 수많은 미래의 경우의 수를 펼쳐놓고 점수를 매기고 있었던 것이었을까. 일상에서 너무나 흔하게 겪는 이 망설임의 순간, 즉 지정되지 않은 여러 개의 미래 상황을 예상하고 그중 하나를 선택하는 이 과정은 문득 거대한 질문 하나를 던져주었다. 상념에 빠질 때 대체 무엇을 찾고 있는 것이며, 어떤 생각이 최상의 미래 결과를 가져올지 도대체 어떻게 판단하고 있는 것일까.
지극히 인간적인 이 사고의 과정을 이해하기 위해, 우리는 뜻밖에도 기계가 의미를 찾아온 진화의 역사를 되짚어봄으로써 해답의 실마리를 얻을 수 있다. 20여 년 전, 디지털 세계는 그저 정보가 무질서하게 부유하는 혼돈의 바다였다. 그 혼돈 속에서 구글은 페이지랭크라는 알고리즘을 세상에 내놓았다. 이 기술은 단순히 사용자가 입력한 키워드가 포함된 문서를 찾는 정적인 방식이 아니었다. 관련 문서가 얼마나 잘 연결되어 있는지를 고유벡터 계산의 반복을 통해 정량화하고 순위를 매겼다. 단일 웹페이지의 가치는 그 자체가 가진 절대적인 내용이 아니라, 네트워크 내의 다른 페이지들과 맺고 있는 관계의 촘촘함에 의해 결정되었다. 이것은 정보가 존재하는 올바른 위치를 찾는 과정이었으며, 권위가 어디에 있는지를 탐색하는 거시적인 여정이었다. 페이지랭크는 우리에게 중요성이란 고립되어 존재하는 것이 아니라 철저히 관계적이라는 사실을 수학적으로 증명해 보였다.
기술이 발전하면서 위치를 찾던 이 거시적인 탐색은 언어를 찾는 미시적인 탐색으로 진화했다. 오늘날 우리가 매일 마주하는 대형 언어 모델은 트랜스포머 아키텍처와 어텐션 메커니즘을 근간으로 삼고 있다. 어텐션은 인터넷 전체를 웹사이트가 노드인 그래프로 보았던 페이지랭크의 시각을 축소하여, 하나의 문장을 단어가 노드인 그래프로 취급한다. 인공지능이 문장을 생성할 때, 그것은 문맥 안에서 하나의 단어가 다른 모든 단어들과 맺는 관계의 연관성을 계산하여 가장 높은 점수를 가지는 다음 단어를 위치시킨다. 검색의 시대가 세상의 수많은 정보 중 가장 관련성 높은 페이지를 찾는 것이었다면, 생성형 인공지능의 시대는 주어진 문맥 속에서 가장 관련성 높은 언어를 찾는 것으로 패러다임이 전환된 것이다. 결국 구글이 검색 알고리즘에서 출발해 언어 모델을 만들게 된 것은, 관계를 통한 가치 산출이라는 그들의 수학적 유전자가 만들어낸 필연적인 결과였다고 생각한다. 필연적으로 말이다.
그러나 언어는 결국 표면적인 결과물에 불과하다. 그것은 내면에서 일어나는 복잡한 연산 과정을 감싸고 있는 포장지다. 카페에서 망설였던 순간, 다음에 할 말을 찾고 있었던 것이 아니라 그 이전에 존재하는 생각의 궤적을 쫓고 있었는지도 모른다. 인공지능의 세계에서도 모델이 입 밖으로 단어를 내뱉기 전, 즉 토큰을 생성하기 전의 데이터는 잠재 공간이라는 고차원의 영역에서 처리된다. 이 공간에서 정보는 언어의 옷을 입기 전의 순수한 표상 상태(생각하기 이전 상태)로 존재한다. 최근의 발전된 인공지능 연구들은 단지 다음 단어를 예측하는 것을 넘어, 이 내부 표상 자체가 현실 세계의 물리적, 논리적 법칙을 얼마나 잘 반영하는지를 먼저 점수화하려고 시도한다. 만약 인공지능이 사과가 나무에서 위로 떨어지는 상황을 상상한다면, 그 내부 표상은 언어로 디코딩되기도 전에 이미 모순적(사과는 아래로 떨어진다. 중력에 따라)이라는 낮은 점수를 받아야만 한다. 즉, 기계조차도 겉포장인 언어를 뱉어내기 전에 내부 상태의 타당성인 생각을 먼저 평가받는 단계로 나아가고 있는 것이다.
이러한 인공지능의 표상 점수화 과정은 궁극의 시뮬레이터인 인간의 뇌가 작동하는 방식과 놀랍도록 닮아 있다. 신경과학자 칼 프리스턴은 뇌가 기본적으로 예측 기계로 작동하며, 끊임없이 예측 오류나 놀람을 최소화하려는 방향으로 움직인다는 자유 에너지 원리를 제안했다. 나뭇가지 사이를 뛰어넘으려는 다람쥐를 상상해 보자. 다람쥐는 도약하기 전에 뉴턴의 물리 법칙이나 나뭇가지의 장력을 의식적으로 계산하지 않는다. 그 대신, 다람쥐의 뇌는 진화와 경험을 통해 압축된 세계의 내부 표상을 가지고 있으며, 다양한 도약 궤적에 대한 빠른 시뮬레이션을 돌린다. 그리고 그중에서 생존 실패라는 가장 큰 놀람을 최소화하고 보상을 극대화하는 최적의 경로를 선택한다. 다람쥐가 선택한 도약의 순간은, 그 작은 생명체의 내부 잠재 공간에서 가장 높은 점수를 획득한 단 하나의 시나리오가 현실로 구현되는 경이로운 찰나일 것이다.
우리 인간도 이와 본질적으로 동일한 과정을 거친다. 다만 시뮬레이션해야 하는 변수가 생존을 넘어 사회적 성취, 자아실현, 관계의 역학 등으로 훨씬 더 복잡할 뿐이다. 어떤 대상을 보거나 상황에 직면할 때, 무의식적으로 수많은 미래 표상을 생성한다. 그리고 과거의 성공과 실패 경험, 도파민 분비의 기억 등을 바탕으로 우리만의 내부 알고리즘을 가동하여 이 시나리오들에 점수를 매긴다. 흔히 직관이라고 부르는 것은 결코 근거 없는 신비로운 감각이 아니다. 그것은 수백만 번의 과거 경험과 데이터가 고차원으로 압축되어 만들어낸 고도의 요약 점수다. 스티브 잡스가 혁신적인 제품을 만들며 직관을 믿으라고 강조했던 것은, 맹목적인 찍기에 의존하라는 의미가 아니었다. 그것은 그가 평생에 걸쳐 축적해 온 미학적이고 기술적인 경험의 데이터베이스가 잠재 공간 안에서 수많은 미래 시나리오를 시뮬레이션하고, 그중 가장 완벽한 결과를 가져올 최상의 궤적에 높은 점수를 부여하는 뇌의 연산 능력을 신뢰하라는 뜻이었다. 결국 최상의 미래를 가져올 생각이라는 것은, 이 거대한 시뮬레이션 속에서 최소한의 위험으로 최대한의 정보 이득을 얻어내는, 즉 내 내부 모델과 가장 잘 들어맞는 일관된 시나리오를 의미한다.
하지만 우리의 이 내부 점수화 시스템이 항상 완벽하게 작동하는 것은 아니다. 때로는 우리의 직관과 내부 모델이 심각한 오류를 범하기도 한다. 과거에 깊은 정신적 트라우마를 겪은 사람은 타인의 선의가 담긴 평범한 미소조차도 자신을 위협하는 위험한 상황으로 오해하여 회피라는 시나리오에 가장 높은 점수를 부여할 수 있다. 그들의 내부 표상은 과거의 상처라는 잘못된 가중치에 의해 지배받고 있기 때문에, 현실에서는 전혀 존재하지 않는 위협을 예상하며 스스로 높은 예측 오류를 만들어낸다. 머릿속에서 시뮬레이션된 미래가 현재의 객관적인 현실을 배신하는 순간이다. 이러한 오류를 바로잡기 위해서는 표상을 점수화하는 자신의 내부 기준을 의식적으로 재교정하는 작업이 필요하다. 습관과 충동이 만들어내는 빠르고 편향된 점수를 의심하고, 시스템 2라고 불리는 느리지만 이성적이고 숙고적인 추론을 통해 잘못된 가중치를 덜어내는 치열한 내면의 투쟁이 요구되는 것이다.
결국 우리가 일상에서 끊임없이 무언가를 생각하고 망설이며 기획하는 이유는, 이 세상이라는 복잡한 네트워크 속에서 나와 현실을 가장 매끄럽게 연결해 줄 단 하나의 궤적을 찾기 위함이다. 구글의 페이지랭크가 세상의 수많은 정보 중에서 가장 가치 있는 페이지를 찾아 헤매고, 언어 모델이 무한한 어휘의 바다에서 가장 적절한 다음 단어를 찾아내듯, 인간의 뇌 역시 매 순간 가장 타당하고 오류가 적은 생각의 경로를 찾아 점수를 매기고 있다. 그것은 단순한 생존을 넘어, 혼돈으로 가득한 세상 속에서 자신만의 의미를 구축해 나가는 가장 적극적이고 창조적인 투쟁이다. 지금 이 순간에도 당신의 뇌는 무수히 많은 미래의 가능성들을 잠재 공간에 띄워놓고 소리 없는 채점을 진행하고 있을지도 모른다. 그렇다면 오늘 하루를 보내고자 하는 당신의 머릿속에 떠오른 수많은 시나리오 중 어떤 것에 가장 높은 점수를 부여하려고 할까.
보이지 않는 내면의 채점 기준은, 진정으로 원하는 미래를 향해 올바르게 교정되어 있는지 한 번 생각해 볼 문제이지 않을까 싶다.