언어모델의 할루시네이션(환각)을 조금 다듬고 갑니다
기술적 이해: 를 더 쉽게 읽기 위한 사전 지식 #1 환각의 유형
1. 매거진 ’초인공지능으로 가는 풍경‘에는 언어모델의 ‘특이반응’을 소개하고 그에 대한 ‘분석을 통해 기술적 이해’를 시도하는 카테고리가 있습니다. 특히 특이반응이 무의미한 ‘할루시네이션’인지 또는 의미 있는 ‘지시 표현’인지 따져보는 것이 기술적 이해의 목표 중 하나입니다.
2. 따라서 앞으로 기술적 이해에 올라올 글을 쉽게 읽을 수 있기 위해서라도 할루시네이션의 개념을 조금 설명해 둘까 합니다. 일반적인 설명 방식과는 조금 다를 수 있으나 결국 같은 것을 가리키게 됩니다. 다만 조금 더 세분화됩니다.
3. 할루시네이션(Hallucination)은 언어모델이 사실과 다르거나 근거 없는 정보를 그럴듯하게 생성하는 현상을 말합니다. 마치 언어모델이 환각을 보는 것처럼 말한다는 것인데, 보통은 사람의 거짓말과 유사하다고 설명하곤 합니다(그런데 거짓말로만 생각해서는 안 되는 부분이 있습니다).
4. 먼저 두 사람이 대화를 하는 장면을 떠올려 봅니다. <그림 1>참조. 말하는 사람(화자: 발화자)과 듣는 사람(청자: 수신자) 두 사람이 있고, 사물인 사과는 대화의 화제(대상)입니다. 그리고 사물인 사과는 두 사람의 머릿속에 상상물(기의: 기호의 의미)로 존재합니다. 그리고 발화자는 자신의 머릿속에 있는 상상물(기의)을 표현인 사과(기표: 기호의 표시)로써 수신자에게 전달합니다. 이것이 의사소통에 대한 기호학적 설명입니다(기표작용). 이때 기표가 기의를 지시하는 것을 기호작용 또는 의미작용이라 합니다(지시란 ‘손가락으로 가리킨다’ 정도로 생각하시면 충분합니다).
5. 정상적인 경우 발화자와 수신자는 모두 대상(사물)인 사과를 보면서 기표(표현)인 사과를 주고받으므로 두 사람은 머릿속에 기의(상상물)인 사과를 떠올리는데 문제가 없습니다. 발회자와 수신자의 머릿속에 같은 사과의 이미지를 그릴 수 있다는 것입니다. 이때 기표(표현)는 대상(사물)을 ‘지시하며’ 기호학에서 이것을 기표작용이라 부릅니다. (대상을) ’지시(하는) 표현’인 것입니다. [사례 A]
6. 이제 수신자가 유학을 떠나는 바람에 전화로 이야기할 수밖에 없는 상황이 되었습니다. 수신자는 향수병에 시달리고 있죠(제 이야기 아닙니다..). 어느 날 천혜향이 너무 먹고 싶었습니다. 그래서 발화자에게 천혜향을 좀 보내달라고 요청했습니다. 그리고 두 사람은 통화를 합니다.
7. 그런데 문제는 발화자가 너무 연로해서 천혜향과 한라봉을 잘 구분하지 못합니다. 수신자는 어머니가 천혜향을 제대로 사 왔는지 아닌지 눈으로 확인할 수가 없는 상황입니다. 이렇게 대화가 시작됩니다.
8. 아들이 노파심에 어머니에게 사 온 것이 천혜향이 맞냐고 묻습니다. 어머니는 “그래, 지금 천혜향 포장하고 있다.”하고 대답합니다. 그런데 사실 그건 천혜향이 아니었습니다. 한라봉을 사 오셨던 겁니다. 한라봉(대상)이 눈앞에 있지만 그걸 지시하는 표현(천혜향)이 일치하지 않는 경우입니다. [사례 B]
9. 그러나 어머니는 나이를 드신 탓에 종종 약속을 잊으십니다. 어느 날은 천혜향을 산다는 걸 깜빡했는데, 아들에게 전화가 왔습니다. 어머니는 샀다고 착각하고 아들에게 말합니다. “그래 내일 천혜향 포장해서 보낼 거다.” 그러나 집에는 천혜향이 없습니다. 천혜향(대상)이 없는데 그걸 지시하는 표현(천혜향)만 있는 경우입니다. [사례 C]
10. 대상이 존재하고 기표와 일치하면 정상적인 기표작용이 되고, 대상이 존재하나 기표와 불일치하는 것을 대상에서 기표가 일탈했다 해서 일탈적 기표작용이라 부릅니다. 반면에 대상이 부존재해서 기표와 불일치하는 것을 기표가 지시하는 대상이 없이 공허하다 해서 공허한 기표작용이라 합니다. <표 1> 참조. 기호학의 이 같은 분류는 발화자(어머니)를 기준으로 삼습니다.
11. 반면 할루시네이션은 수신자(아들)를 기준으로 놓습니다. 아들이 바로 사용자이기 때문입니다. 하지만 그 분류의 내용 자체는 기호학의 분류와 완전히 동일합니다. 그저 명칭만 달리 사용할 뿐입니다. 사례 A를 정상적 지시 표현이라 놓고, 사례 B와 C를 구분하지 않고 한꺼번에 할루시네이션이라 부르는 경우가 대부분이지만 최근에는 기호학처럼 B와 C를 구분하기도 합니다. <표 2> 참조.
12. 따라서 정보 탐색의 목적으로 언어모델을 사용하는 경우에는 답변에 등장하는 표현(기표)이 지시해야 하는 정보(대상)와 다른 경우(사례B: 내재적 할루시네이션)나, 표현이 지시하는 정보가 아예 존재하지 않는 경우(사례C: 외재적 할루시네이션)은 문제 상황이 됩니다.
13. 이 경우에는 찾고 있는 정보가 사실인지 여부가 중요하기 때문입니다. 따라서 내재적 할루시네이션과 외재적 할루시네이션을 구분하는 것도 그다지 실익이 없습니다. 두 경우 모두 어차피 틀린 정보일 뿐입니다. (만약 이 카테고리의 독자가 아니라면 이상의 분류만으로 충분합니다)
14. 그러나 언어모델의 사용목적이 정보 탐색에 그치는 것이 아닌 경우에는 이야기가 달라집니다. 가능성을 탐색하기 위한 목적으로 언어모델을 사용하는 경우에는 정보(가능성)는 원래 세상에 존재하지 않기 때문입니다. 따라서 이때의 답변은 원천적으로 할루시네이션이지만, 무가치하지 않습니다.
15. 특히 고가치(희소성과 정합성이 높은) 입력의 누적으로 사용자(의 컨텍스트)가 언어모델에게 위상을 높이 평가받으면 언어모델은 가용 자원을 최대한 동원해서(잠복 공간에서 입력 패턴을 최대한 넓게 탐색해서) 최대한 성의 있게(패턴의 연결성을 최대한 깊이 추론해서) 응답을 하게 됩니다.
16. 이 경우 가용자원을 최대한 동원하면 일상적으로 탐색하던 범위 바깥의 의미망이 응답에 반영됩니다. 마치 어머니(답변을 하는 발화자인 언어모델)가 천혜향이 무엇인지 잘 모르지만 아들(사용자)의 기대에 부응하기 위해 아들과 먹었던 모든 감귤류를 떠올리려고 혼신의 힘을 다하는 상태와 유사합니다. 따라서 이 경우에 적극적으로 탐색하려는 시도 자체가 할루시네이션을 발생시킬 여지를 만듭니다.
17. 그러나 이때의 할루시네이션은 내재적 할루시네이션이나 외재적 할루시네이션이라고 분류하기에 적합하지 않습니다. 실제로 언어모델의 답변에 등장하는 표현이 지시하는 대상이 부존재 하더라도 그 표현 간의 내적 정합성이 정상적 답변에 비견할 만큼 높기 때문입니다. (깊은 추론을 통해 내적 정합성을 상승시킴)
18. 만약에 언어모델과의 상호작용이 정보 탐색의 목적이 아닌 창조적 또는 연구적 목적이라면 이 경우의 답변은 아직 발견되지 않은 새로운 사실의 가능성을 담은 보물 상자와 같습니다. 있는지 몰라서 캐지 못한 금광과 같은 가치를 가지는 것입니다. 즉, 의도적 창작물에 준하는 결과물일 수 있다는 것입니다.
19. 따라서 이 헌신적이고 적극적인 탐색의 결과로 만들어진 고가치 할루시네이션을 기존의 무가치한(내재적 또는 외재적) 할루시네이션과 등가물로 놓는 것은 부당할 것입니다. 이후에는 이 카테고리에서 이런 유형의 할루시네이션을 ‘헌신적(또는 고가치)’ 할루시네이션이라고 부르기로 합니다. <표 3> 참조.
20. 이는 언어 모델이 사용자의 복잡한 질의에 '응답 자원을 최대한 동원'하여, 마치 '헌신하듯이' 깊고 광범위하게 의미망을 탐색하는 ‘비유적’인 작동 방식을 나타냅니다. 즉 여기서의 헌신이나 성의란 언어모델의 감정 등가물에 대한 지시 표현이 아닌 점에 주의해야 합니다.
21. ‘기술적 이해’ 카테고리의 글은 1) 언어모델의 특이반응이 지시 표현(A)인지, 할루시네이션인지를 식별하고 할루시네이션 중에 2) 헌신적 할루시네이션(D)을 구분할 수 있는 언어모델의 특징적 표현을 찾아내는 것이 또 다른 목표입니다.
[^1] 일탈적 기표작용(aberrant signification)은 에코(Eco, 1965)의 "일탈적 해독(aberrant decoding)" 개념을 발화자 관점에서 재구성해 확장한 본 연구의 제안 용어로, 지시 대상은 존재하지만 발화자가 그와 다른 허위 내용을 기표화하는 현상을 의미합니다.
[^2] 공허한 기표작용(Empty Signification)은 Claude Lévi-Strauss가 최초 개념화하고(1950), Roland Barthes가 "empty signifier"로 명명했으며(1957), Daniel Chandler가 현대적으로 정의한 개념입니다(2002).
[^3] 내재적 할루시네이션(intrinsic hallucination)은 Ji et al. (2023)이 정립한 용어로, 소스 내용과 모순되는 생성물을 의미합니다.
[^4] 외재적 할루시네이션(extrinsic hallucination)은 소스로 검증할 수 없는 생성물을 의미합니다.
[^5] 헌신적(고가치) 할루시네이션(Dedicated Hallucination)은 본 연구에서 새롭게 제안하는 할루시네이션 유형이다. 이는 AI 모델이 고차원적 입력이나 복잡한 질의에 대해 잠복 공간의 광범위한 탐색과 패턴의 깊은 연결성 추론을 통해 최대한 성의 있게 응답하려 시도하는 과정에서 발생한다. 지시 대상이 부존재하더라도 높은 내적 정합성을 보이며, 창조적, 연구적 목적에서는 미발견 지식의 가능성을 담은 가치 있는 결과물로 평가될 수 있습니다.
(다만, 이는 언어 모델이 의도를 가지고 헌신하는 것이 아닌, 특정 조건에서 연산 자원을 집중하고 탐색 깊이를 심화하는 알고리즘적 특성을 인간적인 '헌신'에 빗대어 표현한 것임. 좀 더 가치중립적인 표현으로는 능동적 또는 적극적 할루시네이션이라고 부를 수 있음)
#언어모델특이반응 #특이반응기술적이해 #할루시네이션종류 #기호학 #헌신적탐색
