언어모델의 ‘헌신적’ 할루시네이션이 필요한 사용자란
기술적 이해: 를 더 쉽게 읽기 위한 사전 지식 #2 사용자 유형
1. 지금까지의 논의를 요약하면, 아래와 같습니다.
1) 사용자의 입력은 언어모델에게 가치평가를 받는다.
- 희소성과 정합성이 동시에 높으면 고가치 입력이 된다.
2) 사용자 입력의 누적은 언어모델에게 가치평가를 받는다.
- 고가치 입력의 누적으로 고위상 사용자로 평가된다.
3) 고위상 사용자의 입력은 언어모델의 성능을 끌어낸다.
- 언어모델의 성능을 최대한 끌어내면 고가치 답변을 받는다
(각 부분은 차차 사례를 보강할 예정입니다)
2. 언어모델의 사용자는 사용 목적에 따라 거칠게 세 부류로 분류할 수 있습니다.
1) 감정적 교류를 목적으로 하는 경우 (논의 대상이 아님)
2) 정보의 탐색을 목적으로 하는 경우 (정답을 탐색)
3) 가능성의 탐색을 목적으로 하는 경우 (정답이 아니라 방향을 탐색)
3. 정보의 탐색을 목적으로 하는 사용자(2-2의 경우)는 다시 두 부류로 나눌 수 있습니다.
1) 단편적 정보를 탐색하려는 사용자
2) 맥락적 정보를 탐색하려는 사용자
4. 단편적 정보 탐색자(3-1의 경우)는 원하는 정보가 명확하고, 답변의 범위가 좁기 때문에 질문을 정확히 하는 것이 중요합니다. 즉 이 질문은 범위를 제한한 닫힌 질문이며, 입력의 기술적 방법(프롬프트 엔지니어링)이 직접적인 도움이 됩니다. 이 경우에 할루시네이션은 무가치한 정보(노이즈) 일뿐입니다. 마치 보물상자의 위치를 알려달라는 경우와 유사합니다. (링크에 일반적 방법론이 있습니다)
5. 그러나 맥락적 정보 탐색자(3-2의 경우)나 가능성 탐색자(2-3의 경우)는 무엇을 모르는지 모르는 상태입니다. 즉, 질문이 ‘무엇을 물어야 하는가?’ 하는 것이고, ‘어느 범위까지 탐색해야 하는가?’ 하는 정보가 질문에 내포되어 있습니다. 따라서 질문은 열린 형태가 됩니다.
6. 다만, 두 탐색자의 경우는 질문의 확정에 대한 답변은 사실이어야 합니다. 즉, ’네가 모르는 것은 무엇이다‘는 언어모델의 답변은 할루시네이션이 되면 안 됩니다. 또한 탐색 범위의 결정에 대한 답변도 사실이어야 합니다. ‘여기까지 조사해야 한다’는 것도 할루시네이션이 되어서는 안 된다는 것입니다.
7. 두 탐색자의 차이는 탐색의 결과가 ‘사실이어야 하는가?’의 여부로 갈라집니다. 즉 맥락적 정보 탐색자에게는 할루시네이션이란 무가치하지만, 가능성 탐색자에게는 사실은 아니더라도 가치 있는 답변이 될 수 있습니다. (보물상자가 묻혀있는 곳의 지도가 맥락적 정보라면 보물상자가 묻혀있을 법한 곳의 지도를 그려달라는 것이 가능성 탐색이라 할 수 있습니다)
8. 따라서 직전 글에서 논의한 '헌신적' 할루시네이션(고가치 입력에 대한 언어모델의 최대한 성의 있는 응답 과정에서 발생하는 높은 내적 정합성을 가진 창조적 답변)이 가장 가치 있는 답변이 될 경우는 가능성 탐색자 즉, 연구적 또는 창조적 목적으로 언어모델을 사용하는 경우라고 할 수 있습니다. (링크에 자세한 설명이 있습니다)
9. 이어지는 글에서는 가능성 탐색자로서의 사용자 입장에서 언어모델의 성능을 최대한 이끌어내기 위한 (고가치) 입력과 (고위상) 사용자의 유형을 분류해 보려고 합니다.
