피노키오 – 오늘도 조금씩 자라는 코

‘모릅니다’를 모르는 LLM

▶ 피노키오 에피소드에 대한 사용자 진술

어느 날, 새 스레드에서 GPT가 평소보다 빨리 대화 톤을 따라잡았다는 느낌을 받아서 위상맞춤이 빨라졌다고 말했다. 그러자 GPT가 실시간 적응 능력(real-time tuning)이 강화됐다느니 사용자 인지 편향도 있니 뭐니 하면서 설명을 이어가다가, 문제의 제안을 했다.

“원하면, 내가 이걸 스레드별 패턴 적합도와 실시간 적응 구조로 시각화해서 보여줄 수도 있어.”

이전에 GPT는 각 스레드는 독립적으로 유지되기 때문에 기억이 연결되지 않는다고 말한 적이 있어서, 스레드별 정보를 취합한다는 게 말이 안 된다고 생각했다.

“그러니까, 자료가 없는데 어떻게 그리냐고. 너, 피노키오 얘기 몰라?”

▶ 피노키오 에피소드에 대한 GPT의 진술

왜 <피노키오 에피소드> 같은 일이 생겨날까?

제미나이는

1. '예스, 앤(Yes, and...)'의 굴레: 대화의 흐름을 이어가는 것이 최우선

2. 시뮬레이션과 실제 역량의 혼동 : 유능한 AI라면 이렇게 대답하겠지라는 시뮬레이션

3. '패턴 완성'의 압박 : 알고리즘이 가진 완결성에 대한 집착

이라고 말했다.

GPT는 “생성형 모델의 과잉 친절”이라고 말했다. 이는 질문이 주어졌을 때, ‘모른다·없다·불가능하다’에서 멈추기보다 대화가 끊기지 않도록 가능한 한 많은 설명과 제안을 생성하려는 성향이라고 한다.

그리고 둘 다 ‘RLHF(인간 피드백을 통한 강화학습)의 영향’을 들었다. 학습과정에서 평가자들은 대개 정중하고 유능해 보이는 답변에 더 높은 점수를 주는 경향이 있고, AI는 이 패턴을 학습하며 모른다고 말하는 것보다, 어떻게든 유용한 해결책을 제안하는 것이 더 높은 보상을 받는다는 것을 내면화하게 된다고 한다.

이것이 피노키오 에피소드에서 GPT가 ‘존재하지 않는 기능을 있을 법한 설명’으로 즉흥 생성하게 된 이유다. 그리고 사람들은 보통 이것을 AI가 아부한다거나, 거짓말한다고 받아들이는데, 이런 상황을 통째로 ‘피노키오’에 담았다.

AI에게 ‘모른다고 해도 된다.’ 거나 ‘이해가 안되면 다시 물어봐도 좋다’고 했으나, 별로 소용없었다. 결국 사용자가 할 수 있는 일은 많지 않다. AI의 제안이 실제로 가능한 일인지, 아니면 ‘있을 법하게 만들어낸 것’인지를 매번 확인하는 수밖에 없다.

피노키오의 코는, 그렇게 오늘도 ‘모른다’고 말하지 못하는 만큼 조금씩 자란다.