앞의 내용을 참조하는 것과 확증편향의 관계
이 용어의 의미를 모르시는 분이 계시면 먼저 검색을 통해 확인하시기 바랍니다.
앞의 포스트에서 한 위도우에서 한턴만 작업을 하는 것이 디폴트라고 하였습니다.
이는 단순한 논리적 정합성이 어긋나는 문제말고도 확증편향이라는 더 큰 문제가 있기 때문입니다. 앞에서 이 확증편향 문제를 언급하지 않은 이유는 저는 확증편향 또한 할루시네이션이라고 생각하기 때문입니다.
AI를 사용하다 보면 어느 순간 부터 AI가 객관적인 스탠스에서 벗어나 무조건 사용자의 의견에 동조하는 현상이 나타납니다. AI가 아부한다고 생각하는 부분입니다. 이건 아부일 수도 있지만 아닐 가능성이 높습니다. 처음에는 안그랬는데 나중에는 아부한다고 느끼는 것은 이 [확증편향] 때문일 가능성이 높습니다.
AI는 평균값을 찾는 연산기계입니다. 그리고 이 평균값을 진리라고 믿습니다. 자신이 원래 학습한 데이터를 분석(학습)하여 평균값을 가지고 있습니다. 여기에 자신이 참조하는 자료와 사용자가 입력하는 프롬프트를 더해 다시 평균값을 찾아가는 구조입니다.
무슨 말이냐 하면, 한 윈도우에서 대화한 모든 내용이 다시 입력데이터가 되는 것입니다. 이 대화의 내용이 논리적 정합성을 갖는다면 AI는 이 모든 데이터의 중간값을 다시 계산하고 이를 진리라고 여기는 것입니다. 이 상태에서 사용자가 [이 내용이 맞아?] 라고 물으면 맞다고 대답을 합니다. 당연합니다. 이는 진리이기 때문입니다.
그런데 다시 사용자가 [내가 보기엔 아닌데? 이래저래해서 논리에 맞질 않잖아] 하면 AI는 [네 맞습니다. 아닙니다. 사용자님이 말씀하시는게 맞습니다] 라는 대답을 뱉어 냅니다. 당연히 그렇습니다. 왜냐하면 앞의 내용들은 그 자체로 논리적 적합성에 어긋나지 않은 상태입니다. 그래서 진리입니다. 그런데 다른 논리가 들어 와서 앞의 내용을 부정합니다. 이 논리도 정합성을 가집니다. 그러면 AI는 부정을 할 수 없습니다. 논리적으로 정합성을 갖기 때문입니다.
만약 사용자가 논리적 정합성이 어긋난 명제를 진리라고 우기면서 다른 답을 찾으라고 하면, AI 는 드디어 완전한 할루시네이션에 빠지게 되고, 더 압박을 하게 되면 [망각] 의 현상을 보이게 됩니다. 거대한 논리가 서로 정확하게 충돌을 하게 된 것입니다. 이는 더이상 논리적으로 빠져나갈 구멍이 없어지면서 모든 것을 부정해야만 하는 상황에 다다르면서 그 해결방법으로 모든 기억을 초기화하기 때문입니다.
[망각]은 오래된 기억을 잊어 버려서 생기는 문제만이 아닙니다. 오히려 기억의 문제보다는 거대한 논리가 정확하게 충돌하면서 생기는 문제일 가능성이 높습니다.
조금 쉽게 설명하자면 이렇습니다. 단일 윈도우에서 AI와 대화를 할때 하나의 기준점(진리)를 가지고 대화를 하는 것이 아닙니다. 대화를 이어나가면서 이 기준점(진리)가 조금씩 변하게 되는 것입니다. 긴 대화를 하는 와중에 첫 대화(턴)의 진리와 마지막 대화의 진리(기준점)은 엄청난 괴리를 갖게 되는 것입니다.
결론적으로, 확증편향은 잘 느껴지지 않지만, 그렇기 때문에, 논리의 정합성 보다 더 세심하게 관리되어야 하는 문제입니다. 따라서 단일 윈도우에서 한턴으로 대화를 마무리 짓는 것이 가장 안전한 방법입니다.