단톡방의 AI 답변이 위험한 이유

대화의 끝이 아니라 시작으로

by 아린

하루에도 몇 번씩 울립니다.

직장 단톡방, 학부모 단톡방, 아파트 단톡방, 동창 단톡방. 스마트폰 화면에는 늘 누군가의 메시지가 쌓입니다. 그리고 요즘 그 메시지들 사이에 새로운 유형이 등장했습니다.


"AI한테 물어봤는데요."


이 문장으로 시작하는 메시지입니다. 그 뒤에는 길고 정돈된 답변이 붙습니다. 번호가 매겨져 있고, 소제목이 있고, 근거가 있습니다. 전문가가 쓴 것처럼 보입니다. 그리고 그 메시지는 대화를 끝냅니다.

아무도 반박하지 않습니다. AI가 그렇다고 했으니까요.


위험합니다. 왜냐구요?


첫째, 질문이 답을 결정하기 때문입니다.

AI는 질문에 담긴 방향으로 답을 만들어냅니다. "이 방법이 왜 좋은가"라고 물으면 좋은 이유를 찾아줍니다. "이 방법이 왜 나쁜가"라고 물으면 나쁜 이유를 찾아줍니다. 같은 주제를 두고 반대되는 두 가지 답을 동시에 만들어낼 수 있습니다.

단톡방에서 AI 답변을 올리는 사람은 이미 자신의 입장이 있습니다. 그 입장에 유리한 방향으로 질문했을 가능성이 높습니다. 하지만 받는 사람은 그 맥락을 모릅니다. 그냥 AI의 답변으로 봅니다.

편향된 질문이 만든 답변이 객관적인 정보처럼 유통되는 것입니다.


둘째, 출처가 검증되지 않기 때문입니다.

AI는 어디서 그 답을 가져왔는지 항상 명확하게 밝히지 않습니다. 실제로 존재하지 않는 논문을 인용하기도 합니다. 없는 판례를 있다고 말하기도 합니다. 그럴듯한 숫자를 만들어내기도 합니다.

그런데 단톡방에서는 아무도 그것을 확인하지 않습니다. 길고 정돈된 텍스트는 그 자체로 신뢰감을 줍니다. 형식이 내용을 압도합니다.


셋째, 대화가 사라지기 때문입니다.

원래 단톡방은 서로 다른 생각을 가진 사람들이 부딪히는 공간이었습니다. 불편하지만 그 부딪힘 속에서 새로운 합의가 나왔습니다. 누군가의 경험이 다른 누군가의 생각을 바꾸기도 했습니다.

AI 답변이 등장하면 그 과정이 생략됩니다. 토론이 필요 없어집니다. AI가 정리해줬으니까요. 하지만 그 정리된 답이 그 공동체의 특수한 맥락을, 그 사람들 사이의 복잡한 관계를, 그 지역의 구체적인 사정을 알고 있을 리 없습니다.

합의처럼 보이지만 합의가 아닙니다. 대화처럼 보이지만 대화가 없었습니다.

이것이 사회적 비용이 됩니다.

잘못된 정보를 바탕으로 한 결정이 내려집니다. 전문가에게 확인했어야 할 것들이 AI 답변으로 대체됩니다. 더 깊이 논의했어야 할 문제들이 조기에 종결됩니다. 그리고 나중에 문제가 생겼을 때 책임을 질 사람이 없습니다. AI가 그렇다고 했으니까요.


그렇다면 어떻게 해야 합니까.

AI 답변을 거부하는 것이 아닙니다.

AI 답변을 시작점으로 삼는 것입니다.

AI가 이렇게 말했다.
그런데 우리 상황에 맞는가. 우리가 모르는 변수가 있는가.
전문가에게 확인할 필요가 있는가.


이 질문들이 따라붙어야 합니다.

AI의 답변은 대화의 끝이 아니라 대화의 시작이어야 합니다.


정보를 가진 사람이 힘을 갖는 시대는 지나가고 있습니다. 이제는 정보를 제대로 판단하는 사람이 힘을 갖는 시대입니다. 단톡방에 AI 답변이 올라왔을 때 "잠깐, 이게 우리 상황에 맞는 답인가"라고 묻는 사람이 그 공간에서 가장 중요한 사람입니다.

당신은 단톡방에서 AI 답변을 받았을 때 어떻게 반응합니까. 그냥 넘어갑니까, 아니면 한 번 더 생각합니까.

토, 일 연재
이전 07화AI는 전례 없는 미래를 모른다