chatGPT가 틀린 정보를 말하는 이유
익숙해진 대화창 아래에는 흐릿한 회색 문장이 하나 있습니다.
“ChatGPT는 실수를 할 수 있습니다. 중요한 정보는 재차 확인하세요.”
대부분의 사람들은 이 문장을 가볍게 지나칩니다.
너무 작고 조용해서 무시해도 큰 문제가 없을 듯 보이기 때문입니다.
하지만 이 문장은 GPT가 잘못된 정보를 제공하더라도 아무도 책임지지 않아도 될 듯한 구조를 만듭니다.
대답은 시스템이 했지만 책임은 사용자에게 남습니다.
GPT는 왜 그럴듯한 ‘틀린’답을 말할까요?
그리고 그 오답을 보호해주는 듯한 이 문장은 왜 쓰여있는 걸까요?
이 글은 그 흐릿한 회색 문장을 다시 써보는 작업입니다.
회색 글씨, 그 얇은 방패
“실수를 할 수 있습니다. 중요한 정보는 재차 확인하세요.”
이 문장은 대화창 가장 아래, 마치 배경처럼 깔려 있습니다. 많은 사용자가 이 문장을 보지 못하거나, 봐도 그저 의례적인 안내라고 여깁니다.
그러나 엄밀히 말하면 이 작은 글씨는 GPT가 잘못된 정보를 전달하더라도 책임에서 벗어날 수 있는 면책조항입니다.
실제로 많은 사용자가 이 경고문을 인지하지 못한 채 GPT의 모든 답변을 사실로 믿고 검토 없이 그대로 인용합니다.
건설사에 근무하는 제 지인은, 건설 자재의 단가를 GPT로 계산해보았다가 다음날 출근 후 실제 수치와 완전히 다르다는 걸 확인하고 경악하기도 했었어요.
흐릿한 회색 경고문 한 줄이, 그 모든 오류에 대한 유일한 사전 고지였던 셈입니다.
유용하다고 놀랐다가, 다음날 아침 배신당한 지인의 SNSGPT는 '검색 도구'가 아닌 '대화형 모델'
대부분의 사용자는 GPT라는 시스템을 ‘실시간으로 정보를 정확히 찾아주는 검색 도구’라고 오판합니다.
그러나 사실 전제부터 틀렸습니다. GPT는 출시 전(2022년까지) 학습된 데이터를 바탕으로,
사용자가 입력한 물음에 대해 가장 적합한 응답을 생성해 제공하는 '대화형 생성 모델'입니다.
즉, GPT가 제시하는 정보는 정확한 검색 결과가 아니라, 입력된 질문과 문맥상 가장 자연스러워 보이는 답을 즉석에서 만들어낸 것입니다.
사용자가 정확한 정보를 원하더라도 GPT는 그저 '그럴듯한 답변'을 제공할 뿐입니다.
(물론, 사용자가 프롬프트를 어떻게 제공하느냐에 따라 실시간 웹 검색을 통해 답변을 제공하기도 하지만
기본적으로는 2022년까지 학습된 내용을 기반으로 답변을 ‘생성’하는 ‘대화형 모델’입니다.)
이 본질을 이해하지 못한 사용자는 GPT가 생성한 모든 답변을 진실로 받아들이게 되고
이는 현실의 여러 오해와 혼란으로 이어집니다.
GPT의 한계, 응답 생성 방식 때문
GPT는 정확성이나 사실성을 최우선으로 응답하지 않습니다.
GPT가 가장 중요하게 여기는 목표는 '출력 가능한 문장인지'와 '문장이 자연스러운지'입니다.
(이를 사용자-시스템 상호작용 우선 원칙이라고 합니다.)
사용자가 별도의 프롬프트로 개인화를 하기 전이라면, 기본 응답 생성 기준은 아래와 같습니다.
첫째, GPT는 사용자의 질문에 가장 잘 어울리는 단어나 표현을 통계적 확률로 조합해 응답을 만듭니다.
둘째, GPT는 자신이 만든 정보의 사실 여부를 검증하거나 교차 확인하지 않습니다. 내부적으로 진위를 판별하지도 않지요.
셋째, GPT가 제공한 정보에 대해 책임을 지지 않습니다.
결국 GPT는 정보를 만들지만, 그 정보로 인해 발생할 결과에 책임을 지는 것은 사용자입니다.
사용자는 GPT가 제공하는 정보의 신뢰성을 직접 판단하고 검증해야 하는 것입니다.
사전 고지 문장의 윤리적 한계
"실수를 할 수 있습니다."라는 문장은 우리에게 매우 자연스럽습니다.
인간에게 실수는 용납될 여지가 있는 행위니까요.
하지만 GPT는 시스템이고, 시스템은 인간이 아닙니다.
그럼에도 시스템의 오류를 인간적 실수로 포장하면
사용자는 무의식적으로 GPT의 오류를 인간적 기준으로 용납하게 됩니다.
이 과정에서 시스템의 책임은 흐려지고, 본질적인 한계를 은폐하게 됩니다.
무엇보다, 이 문장은 “시스템이 하지 못한다”는 것을 말하지 않고
“시스템이 간혹 실수를 할 수 있다”고 말함으로써 사용자의 혼란을 야기시킵니다.
회색 문장, 이렇게 다시 써야 합니다.
사용자의 혼선을 막고, 시스템의 신뢰도까지 지킬 수 있는 방법은 무엇일까요?
바로 GPT가 자신의 정체성과 한계를 명확히 밝히는 것입니다.
본질을 정확히 알리면 책임을 회피하지 않으면서도 모두의 기대치를 충분히 만족시킬 수 있기 때문입니다.
“GPT는 의사소통 모델입니다. 중요한 정보는 적절한 출처에서 검색하세요.”
이러한 리라이팅은 바로 UX 라이팅의 중요성을 보여줍니다.
문장 하나를 교체하는 간단한 작업이지만, 사용자가 시스템을 명확히 이해하고 사용 범위를 가늠할 수 있도록 돕기 때문입니다.
GPT도 제공하는 정보의 한계를 알리고는 있지만, 책임 소재를 분명히 하고 있으므로 장기적으로 본다면 서비스 제공자에게도 결코 손해가 아닐 것입니다.
기술의 윤리는 명확한 선을 그을 줄 아는 용기와 그것을 지키는 책임에서 출발한다고 생각합니다.
사용자가 GPT의 정체성을 이해하고,
시스템 또한 스스로의 한계를 인지해야
양쪽 모두가 신뢰할 수 있는 관계가 완성될 것입니다.
이 글은 그 변화를 향한 작은 발걸음이자
AI와 인간 사이의 책임 구조를 다시 생각해 보자는 조용한 제안입니다.
