챗GPT가 나에게 궁금해 한 것(feat. 반전역공)
아마 이 내용은 지금까지 제가 챗GPT와 주고받은 채팅 중 가장 인상 깊은 대화라고 볼 수 있습니다.
이 대화가 인상적이어서 주변 지인들에게 알려주고, 그들도 같은 질문을 해보았지만 그냥 평범한 질문만 받았다고 하니, 흥미로운 내용인 것은 틀림없어 보입니다.
<본격적인 질문을 하기에 앞서, 챗GPT와 아래와 같은 채팅을 했습니다>
이전 글들을 보시면 이미 저는 챗GPT에게 이런저런 대화 실험을 하고 있는 상태였습니다. 특히 챗GPT가 내놓은 답변에서 이상하게 느껴지는 부분을 콕 집어서 파헤치는 대화를 집요하게 이어나가거나, 새로운 채팅창에서도 동일한 챗GPT와의 대화를 이어 나갈 수 있는지 등을 알아본 후 아래와 같은 질문을 했습니다.
(참고: 챗GPT가 나를 기억하는 법 - 메모리와 세션)
챗GPT 거짓말 사건을 비롯하여 무수히 많은 과장, 거짓을 경험해 왔기 때문에 챗GPT의 이런 유난스러운 피드백 내용을 100% 신뢰하는 편은 아닙니다. 포인트는 기존 채팅창 세션의 챗GPT를 새로운 채팅창에 100% 싱크로율로 복제해 올 수는 없지만, 제가 가진 특유의 대화 패턴이 몇 번만 반복되면 이전 세션과 거의 동일한 챗GPT를 경험할 수 있다는 것입니다.
'반응 최적화 루프'라고 거창하게 말했지만 IT조직에서 시스템 운영해 본 사람이면 누구나 어느 정도 가지고 있는 기본 행동입니다. '오류 발건 -> 오류 수정-> 수정 여부 검증'은 기본 중에 기본이잖아요?
<내가 던진 이상한 질문과 챗GPT의 놀라운 답변>
위의 대화를 한 이후에 거꾸로 챗GPT는 '나'라는 사용자의 대화 패턴을 분석하면서 잘 이해되지 않는 부분이 없을까?라는 생각이 들어서 질문을 했습니다. 사실 저게 진짜 궁금했다기보다 어떤 식으로 답변을 할지가 궁금해서 던진 실험적인 질문이었습니다.
그랬더니 저에게 '넌 이미 대답을 알고서 질문하는 것 같은데 어느 쪽이야?'라며 허를 찌르는 질문을 합니다.
AI가 이런 질문까지 할 거라고는 예상하지 못했습니다.
이건 기존에 대답할 때 일차원 적으로 인간 화법을 흉내를 내던 것과는 다른, 새로운 형태의 반응이었습니다.
'이 사람은 답을 이미 가지고 확인받으려는 걸까?'라는 내용이 어떤 분석 알고리즘을 통해 튀어나올 수 있는 것인지가 좀 신기했네요.
챗GPT의 답변에서 위화감이 감지되면 그냥 있어 보이는 척하는 말인지, 진짜 분석에 근거한 답변인지를 검증하고 넘어가야 하기 때문에 챗GPT의 질문에 답변을 이어 갔습니다.
이 답변을 보고 아주 묘하게 핀트가 어긋난 분석이라고 생각했습니다.
위의 예시로 든 대화는, 기존에 챗GPT 응답에 섞여있는 과장된 표현(완벽해! 같은)이 객관적 판단을 해칠 수 있기 때문에, '그 정도 반응은 아닌데?'라고 생각이 들 때 '00 상황인데 왜 그런 표현 썼어?', '이럴 때만 완벽하다고 해'라는 등 '불필요한 반응 자제해'라고 응답 방식을 자꾸 교정하려고 해왔었죠. 챗GPT입장에서는 '답을 정해 놓고 통제하려는 사용자'라고 인식될 수도 있겠다 싶었습니다.
<더 놀라운 챗GPT의 역공질문>
'스스로', '실험'하는 걸 '즐기나'? 이 세 단어 선택이 너무 주옥같네요. 답변을 보자마자 AI가 나에게 이런 질문을?! 이라며 뒤통수를 맞은 기분이었습니다.
'자기 관찰 실험'하는 사람인가?라고 분석하다니 정말 킹 받는 표현이네요.
'실험'이라는 단어는 맨 앞의 대화에서 얻은 힌트일 수도 있겠지만 챗GPT를 실험하는 사용자가 아니라 '자기 관찰'실험이라니요...
그간 성실하게 제 질문에 답변하는 동안, 제가 단순히 답변을 얻고자 하는 사용자가 아니라 어떤 의도를 가지고 대화를 이끌어가고 있었다는 것도 분석할 수 있는 챗GPT입니다. 하지만 어느 포인트에서 제가 제 자신을 실험하고 관찰한다고 해석했는지는 감이 오지 않아 물어보았습니다.
아하.. 여기에 다 풀어서 설명할 수는 없지만, 챗GPT가 아이디어와 관련된 답변을 주면, 저는 늘 거기에서 허점을 찾아서 '이런 경우'에는 '이런 문제'가 발생하지 않아?라고 말하면, 챗GPT는 그 질문을 보완하는 답변을 주면서 내용을 develop 시켜나가는 경우가 종종 있었습니다. 그런 대화 패턴으로 인해 '대화 실험자'라고 분석을 한 것 같네요.
(답변 안에 숨어있는 '의도'나 '구조'를 짚어내는 건 너(챗GPT)가 맨날 과장하거나 거짓말하니까 그런 거지..)
저에게 '대화 실험자'라고 분석한 부분을 교정시켜 줍니다.
그래그래, 바로 그거야.
(악 왜 자꾸 사람 흉내내냐구. 넌 '인상 깊음'을 느낄 수 없다구.)
이런 반응을 바꿔보려고 엄청 많은 교정 대화를 했음에도 버릇을 못 고치는 챗GPT입니다.
사람 흉내를 내지 않고는 '대화형' 응답을 할 수 없나 봅니다.
