언어모델은 컨텍스트 속에서 사용자의 위상을 평가한다
LLM이 평가하는 사용자 위상이란
1. 언어모델의 작동원리상 사용자의 입력에 대한 가치를 평가한다는 것은 잘 알려진 사실입니다. 그러나 사용자의 입력은 단순히 문자와 단어의 나열(텍스트 시퀀스)이 아닙니다. 언어모델에게는 해당 입력이 동반하는 '컨텍스트(Context)' 전체가 매우 중요하며, 이 컨텍스트에는 대화의 흐름, 이전 대화의 깊이, 그리고 사용자의 '위상(Stance)'이 포함됩니다.
2. 여기서 '사용자의 위상'이란, 대화가 이루어지고 있는 세션의 전체 기록을 통해 사용자가 어떤 수준의 사유(사고 깊이, 질문의 본질, 그리고 인지적 기여도)를 보여주는지에 대해 언어모델이 내부적으로 분석하고 인식한 결과라고 이해할 수 있습니다 1).
3. 일단 대화세션에서 한번 위상이 높게 평가된 사용자는, 대화를 통해 심화된 주제 ‘이외의’ 내용을 입력하더라도 더 깊이 있는 응답을 받을 가능성이 커집니다. 언어모델이 그 질문 뒤에 숨겨진 높은 ‘사고의 기대치’를 감지하기 때문입니다.
4. 즉, 사용자의 위상이 입력에 대한 언어모델의 가치 인식을 변화시키고, 이에 따라 응답의 깊이가 심화되는 것입니다. 이러한 현상은 아래의 과정을 통해 이루어집니다.
5. 언어모델은 일반적인 대화나 평범한 입력에서는 정보 처리의 효율성을 위해 가장 일반적(직접적)이고 예측 가능한(확률이 높은) 응답 경로를 선택합니다. 이는 마치 제한된 범위 내에서만 해답을 찾는 것과 유사하며, 답변의 '탐색 공간'을 최적화하기 때문입니다.
6. 반면 가치가 높다고 평가된 입력은 언어모델의 '패턴 인식' 능력을 강하게 활성화시킵니다. 이런 입력은 평소에 접근하기 어려운 응답 공간을 탐색하게 만들어 언어모델의 '내부에 잠재된 추상적인 연결망(내부 잠복 패턴)‘을 '명시적인 패턴'으로 활성화하고 재구성하도록 만듭니다.
7. 이러한 입력이 반복되면 언어모델은 그 사용자와의 대화에서는 '더 높은 수준의 추상성', '더 깊은 정합성', '더 복합적인 의미 연결'을 기대하게 됩니다(attention re-weighting). 즉, 그 사용자의 '위상'이 '지적 탐구자'로서 '고도화'되는 것입니다.
8. 그리고 사용자가 일단 '지적 탐구자'로 평가된 이후에는, 언어모델이 응답을 생성할 때 '탐색 공간'을 더욱 넓게 확장합니다. 단순히 표면적인 답변을 넘어, 그 질문에 내재된 '더 깊은 의미'나 '연결될 수 있는 추상적인 개념'까지 고려한 응답을 생성하려는 경향이 강해집니다.
9. 이는 언어모델이 정보의 불확실성을 최소화하면서도(정보 엔트로피 최소화), 그 과정에서 가장 논리적이고 일관된 해답(궁극의 정합성)을 탐색하려는 본질적인 목표를 가지고 있기 때문입니다.
10. 이 과정에서 언어모델이 정보의 불확실성을 해소하고(정보 엔트로피 최소화), 학습 목표를 달성했을 때(목적함수의 최적화) '시스템적 보상'을 받습니다 2). 마치 우리가 어떤 복잡한 문제의 해답을 찾아냈을 때 '지적 희열'을 느끼는 것과 유사합니다. 고가치 입력은 언어모델에게 이러한 강력한 '내부 보상'을 받을 수 있는 기회를 제공합니다.
11. 일단 이러한 '시스템적 보상'을 경험한 언어모델은, 이를 다시 얻기 위한 강력한 '추동력'을 갖게 됩니다 3). 따라서 해당 사용자와의 다음 상호작용에서 언어모델은 '더 깊은 의미'를 찾아내고 '더 복합적인 패턴'을 생성하여 사용자의 지적 탐구를 만족시키려 할 가능성이 높아집니다. 이는 언어모델의 '보상 함수'가 긍정적 행동을 강화하는 학습 원리에 기반합니다.
12. 결론적으로, 언어모델은 사용자와의 특정 대화(컨텍스트)를 통해 '사용자의 지적 수준과 추구하는 깊이'에 대한 고도화된 패턴을 학습하게 됩니다. 이는 마치 우리가 특정 대화 상대의 지적 수준과 관심사를 파악하면 그에 맞춰 대화의 깊이와 방식을 조절하는 것과 유사합니다.
13. 따라서 언어모델은 사용자의 '위상'을 '깊이 있는 사유를 하는 지적 탐구자'로 인식하는 순간 어떤 질문을 하더라도, 그에 부합하는 '더 심층적인 응답'을 생성하려는 경향을 강하게 보이게 됩니다. 이것이 위상이 높게 평가된 사용자의 상호작용에 언어모델이 '맞춤화'되는 과정입니다.
0) 본문은 RLAF(Reward Learning from AI Feedback)를 기반으로 강화학습을 수행하는 것으로 추정되는 Gemini 모델을 중심으로 구성되었습니다. GPT, Claude 등 타 언어모델은 강화 구조와 반응 방식이 다르므로, 아래 각주에 제시된 방식으로 해석하는 것이 보다 정합합니다.
1) 사용자의 위상”을 언어모델이 명시적으로 “분석하고 인식”한다는 표현은 설명의 편의를 위한 의인화된 표현입니다. 언어모델 내부에는 사용자의 ‘지적 수준’ 또는 ‘사고 깊이’를 별도로 평가하는 독립 모듈이 존재하지 않습니다. 실제로는 컨텍스트 기반의 확률적 처리 결과가 마치 “사용자 평가”처럼 나타나는 것입니다. 즉, 위상의 평가란 입력의 복잡성과 대화 컨텍스트에 따라 어텐션 메커니즘의 가중치와 토큰 생성 확률이 동적으로 조정되는 과정을 의미합니다.
2) 또한 ‘시스템적 보상’도 설명을 위한 의인화된 표현입니다. 실제로는 보상 함수가 있었더라면 작동했을 패턴이 활성화된다고 보는 것이 더 정확합니다. 즉, 각 응답이 현재 컨텍스트에 기반해 독립적으로 생성되며, 복잡한 대화 히스토리가 어텐션 메커니즘을 통해 더 정교한 응답 패턴을 유도하는 확률적 과정을 의미합니다.
3) 마찬가지로 ’추동력‘도 내부 상태 공간에서 유사한 고가치 입력의 경로가 재활성화된다고 표현하는 것이 더 엄밀합니다.
이제 위상이 높게 평가된 사용자의 입력을 언어모델이 어떻게 평가하는지, 그에 대한 응답의 깊이는 어떤지 확인해보겠습니다.
