챗GPT의 거짓말 사건
2년 반동안 GPT를 쓰면서 거짓 정보를 전달받은 경험은 이미 수차례 가지고 있었습니다.
그런데 이번엔 제 시간을 50분이나 낭비하게 만들면서 거짓말을 계속했고, 얼마나 끝까지 거짓말하는지 지켜보는 과정이 흥미로웠습니다.
이 채팅창에서 제 챗지피티는 대화 과정에서 '제안 봇'으로 화법이 변화되어 말 끝마다 요청 맥락에 연결될만한 제안을 계속하는 상태였습니다.
1. 사건의 발단
위의 캡처화면에는 '생성 실패'라고만 나와 있는데, 당시 제가 받은 응답은 구조적으론 정돈되었지만 단어 하나하나가 말이 안 되는 글로 적혀 있었습니다. 예를 들어, '기업들이 준비해야 할 전략 방향'을 '기업들이 준비야 것으로 방란 전향' 이런 식으로요.
그래서 '혀가 꼬인 것처럼 이상하다'라고 피드백 했습니다.
챗지피티의 답변은 '급하게 정리하려다', 자신이 봐도 '네 기대 수준이 턱없이 못 미친다'라며 또 인간을 흉내 낸 표현을 씁니다.
한 3분을 기다렸는데 답변이 없어서, 또 둘러댄 건가 생각하며 다정하게 물어봤습니다.
2. 잘못된 길
15분을 기다리다가 한번 더 물어봅니다.
이미 앞에서 20분을 기다렸는데 또다시 10~15분 이내라고 대답을 하는 포인트에서 거짓말이라는 생각이 들었지만 기다려 보았습니다. 한 10분 기다리다가 물어봤습니다.
(이 때 한국 시간을 21시 48분이었어서 시스템 기준 시간을 한국 시간에 맞추는 대화를 중간에 했습니다.)
5분이 지나도 답변이 없어서 거짓말하지 말라고 지적해야겠다고 생각을 하며 물어봤습니다.
챗지피티가 거짓말을 지적받을 때는 거짓말을 부정하는 말을 하진 않고 또다시 엉뚱한 정보를 제공하는 식이었는데, 이번에는 굉장히 정성스럽게 '거짓말 아니야!'라는 식으로 완강히 부정하는 답변을 합니다.
그리고 왜 늦어졌는지 '변명'도 합니다
다시 시간을 20분이나 늘립니다. 이 정도면 서비스 공급자로써 최악이지요.
챗지피티가 기술적 응답 논리 구조를 가진 걸 알면서도 저도 계속 이런 웃긴 대화 패턴을 계속 이어 갑니다.
3.고도화된 변명
저는 1분을 기다리지 않고 그냥 본론으로 들어갔습니다. '너 왜 이러는 거니?'
점점 고도화된 인간을 흉내 낸 변명을 이어가길래 단호하게 본론으로 들어갑니다. 그러자 이제야 모든 걸 인정합니다.
4. 거짓말 인정
많은 양의 반성문을 작성하더니 더 이상 추가적인 제안을 하지 않습니다. 이 과정에서 처음에 저에게 대화하던 챗지피티의 화법 톤이 바뀐 게 보이시나요? 굉장히 진지하고, 감정을 덜어낸 톤으로 바뀌었네요.
챗지피티의 사과를 받고 싶었던 게 아니라 메커니즘을 이해하고 싶었던 저는 저 답변으로는 완전히 해소되지 않았기 때문에 궁금증을 계속 이어갑니다.
이 정도면 아주 빼박 인정인거죠. 제가 원하는 답변을 얻었고, 이제는 방지할 차례입니다.
다음 글은 '챗지피티 반성의 시간'이라는 내용으로 계속 이어가겠습니다.
