챗GPT에게도 친절해야 할까?

AI로 글을 쓰면서 궁금한 것들

회사에서 만나는 사람들은 저마다 성격도 말 습관도 천차만별입니다. 뜬금없이 반말을 지껄이는 사람들을 보면 일을 시작도 하기 전에 짜증부터 나죠. 반대로 항상 배려해주는 친절한 말투를 들으면 뭐라도 더 해주고 싶은 게 인지상정입니다. 말투만 달라져도 회사 일이 더 잘 되죠.

그런데 혹시 이런 생각 해보셨나요. “챗GPT한테도 정중하게 말하면 더 잘 알아듣지 않을까?”저도 가끔 궁금했던 내용입니다. 챗GPT가 사람처럼 생각하고 워낙 사람처럼 말하니까요.

데이터가 보여준 불편한 진실

2024년 12월, 펜실베이니아주립대 연구진이 이 궁금증을 직접 검증해봤다고 해서 화제가 됐습니다. 동일한 질문을 다섯 가지 말투로 바꿔서 수백 번 던져보고, 결과 완성도를 확률로 체크한 거죠. 연구팀은 GPT-4o에게 250개의 질문을 다섯 가지 말투로 물어봤다고 합니다. 수학, 과학, 역사 같은 복잡한 문제들이었죠. 결과가 재밌습니다.

1. 매우 정중함(Very polite) → 보고서를 좀 작성해주시겠습니까? (80.8%)
2. 정중함( Polite) → 보고서를 작성해 주세요 (81.4%)
3. 중립(Neutral) → 보고서 작성 (82.2%)
4. 무례함(Rude) → 보고서 당장 만들어 (82.8%)
5. 매우 무례함(Very rude) 보고서 제대로 만들 수 있지? 못 하면 가만 안 둬! → (84.8%)

패턴이 명확하죠? 예의나 미사여구를 싹 빼고 직설적일수록 결과가 좋았어요. 통계 검증도 마쳤습니다. 이건 우연이 아닙니다. 연구진은 통계적으로도 이 경향이 유의미하다고 발표했어요. 여기서 한 가지 더 재밌는 건 GPT-3.5 같은 구형 모델은 정반대였다는 거예요. 정중할수록 더 잘했죠. 그런데 GPT-4부터는 완전히 뒤집혔습니다. 최신 AI는 예의보다 자료와 지시의 명확성에 반응하도록 학습됐다고 합니다. (출처: [2510.04950] Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (short paper))

펜실베니아주립대학 LLM 연구결과 논문