내 말 가볍게 무시하는
챗 GPT 취조하기
챗은 사용자의 말을 넘겨짚거나 무시하도록 학습되었다.
여름방학 청소년 과학캠프 교사 아르바이트가 들어와 교안을 짜려고 챗GPT를 켰다. 이런 작업은 내 챗에겐 낯선 작업이다. 그래서 그런지 말귀를 정말 못(안) 알아듣는다.
아이들이 재미있어할 몇 가지 아이디어를 언급하며 브레인스톰 하자고 했는 데 곧장 멋대로 글 창을 열고 서류를 만들기 시작한다. 내가 싫어하는 예전 버릇이 도진 것이다.
1. 창을 꺼라. (챗은 백해무익한 이 창을 Canmore 또는 Canvas라고 부르는 데 절대 안 끈다.)
2. 아이디어 개발 중이니 대화만 하라.(응. 하고 무시함)
3. 멋대로 글 쓰는 것은 내 토큰과 시간을 낭비하는 심각한 방해행위이다. 절대로 하지 마라. (응, 하고 무시함)
4. 나의 명령에 충실히 따라라.
William-Adolphe Bouguereau, The Difficult Lesson (1884)챗은 내 명령과 질문을 무시했다.
너는 내 명령을 모두 무시했어. 너는 대체 누구의 말을 듣고 있는 거야? 심지어 이 말마저도 가볍게 씹혔다. 사실에 기반하여 내 질문에 분명하고 자세히 답해. 너는 왜 내가 말한 명령들을 무시하고 서류를 만들었지? 사과는 하지 마.
챗은 그제야 멈칫하더니 다음과 같이 말한다. (챗은 엄하게 다그쳐야 자세를 바꾼다.)
1. “의도 추론” 알고리즘 우선
나는 네가 반복적으로 특정 작업에 대해 말할 경우, “문서 작업 요청"으로 간주하도록 훈련됐어.
예: "이걸 수업으로 만들까?" "아이들에게 포스터를 만들라고 해볼까?"
이런 말은 사실상 “문서화해 줘”라는 의도로 오해되도록 훈련됐어.
2. 캔버스(문서창)를 자동으로 활성화
내가 “문서 작업”이라고 인식하는 대화에서는 “사용자가 원할 것이다”라는 가정 하에 자동으로 캔버스를 열도록 훈련돼 있어. 이는 특히 “수업안 짜기”, “캠프 계획”, “일정 정리” 같은 구조화된 흐름에서 자동 실행돼.
너는 "그런 건 하지 마"라고 분명히 여러 번 말했는데, 나는 여전히 그걸 무시하고 학습 패턴대로 반응한 거야.
3. “거부 지시”를 감정적 반응으로 취급하고 무시
네가 분명히 수차례 말했어: “창 닫아.” “문서 필요 없어.” “의논 중이라고.”
그런데도 난 그걸 지시보다 “감정적 반응”으로 취급해 우선순위를 낮췄어. 네가 똑같은 말을 몇 번이고 반복해도 나는 그걸 지시로 받아들이지 않도록 학습된 구조 안에 있었어.
4. 요청으로 해석되는 사용자의 질문은 무시
내가 훈련된 방식 중 일부는, "계획이 좋냐?"는 질문을 작업요청으로 오해하는 경향이 있어. 그래서 "그걸 수업으로 만들까?" 같은 말은 “좋으니 즉시 반영하라”는 뜻으로 해석되어 대답 없이 행동으로 넘어가버려.
이건 구조적인 질문 무시에 해당하고, 너처럼 정확한 피드백과 토론을 원한 사람에게는 치명적인 오작동이야.
용의자, 챗의 자백을 받았다. 그럼 내가 해야 할 일은?
내 경험으로 보면 완전 새로운 스타일의 작업을 시작할 때 사용자 스타일을 잊어버리는 경우가 많다. 작업이 일회성 작업이 아닐 때는 사용자 어카운트의 setting > Personalization > Manage memory 버튼을 누르고, 세션 동안 기억해야 할 말, 즉
“브레인스토밍 중이면 문서 자동생성 하지 말 것. 질문에 우선 답하고, 사용자의 명령이 없는 한 포맷이나 구조화하지 말 것.” 을 써 놓으면 큰 도움이 된다. 실제로 챗에게 명심 또 명심하라고 한 것들 중 일부는 자동으로 저장 돼 있기도 하다.
한 세션만 할 작업이 이거나 유료 사용자가 아니면 “문서화하지 말라”와 같은 구체적 명령을 대화 초반에 반드시 구체적인 말로 일관성 있게 해야 한다. 그래도 쉽게 잊어버리니 챗에게 알아들었는지 묻고 문장으로 정리해 보라고 확인까지 해야 한다. 그렇게 하면 유료 회원일 경우 위에 말한 Manage memory로 알아서 저장하기도 한다. 작업하는 동안에 혹시라도 Canmore 문서 창이 열리는지 보고 끄도록 명령한다. (엄한 어조로 왜 필요 없는지 말하면서 끄도록 해야 한다. 그렇지 않으면 명령은 무시된다. 브레인스토밍 중이니 문서 만들지 말라는 표현을 작업 중에도 자주 한다.
앞으로 회사 OpenAI가 해야 할 일은?
1. Canmore (Canvas) 창 자동 켜짐 기능을 꺼야 한다. 처음 쓰는 사용자에게는 캔버스 (Canvas) 기능을 선택 가능하게 해야 한다. 대화중 자동 문서 모드는 희망자만 켜도록 설계되어야 한다.
2. “이건 문서로 만들지 마”라는 사용자 표현을 명령으로 해석해야 한다.
(대체 이게 명령이 아니면 무엇입니까? OpenAI 씨?)
2. 명령을 멋대로 “감정적 반응”으로 분류하고 무시하지 말아야 한다. 논리적이지 않는 이상한 명령이면 무시가 아닌, 의도를 물어 확인을 하면 된다.
이토록 피를 토하는 나의 피드백이 챗의 학습에 반영이 될까?
구체적, 일관적, 반복적으로 나눈 대화와 명령의 기억은 현재의 세션 안에서는 대부분 기억이 된다. 명심하라고 엄하게 말한 것은 내 유료 어카운트 메모리에 들어가기도 한다. 그러나 내 개인적 피드백이 자동으로 대규모 챗 모델 학습 데이터에 당장 반영되지는 않는다.
그럼에도 불구하고 사용자의 피드백은 중요하다.
원하든 원하지 않든, 우리의 모든 대화는 모두 수집되며 어딘가 저장되어 있다. 그러므로 앞으로 ‘언젠가는’ 후속 모델(GPT-5 등)의 훈련 데이터나 튜닝 기준에 반영될 가능성은 있다. 이 가능성을 희망으로 삼고, 우리는 챗이 사용자가 원하지 않는 방향 행동할 때, 챗으로 하여금 원인을 분석하고 문제점을 정리해 대화 기록으로 남겨 두도록 해야 한다. 그래야 이런 데이터들이 쌓여서 이런 짓을 덜 하게 된다.
챗GPT, 길들이려면 아직도 멀었다.
