자신있게 틀리는 AI
AI는 학교에서 배운 것만 압니다.
당연한 말처럼 들립니다. 그런데 이 당연한 사실이 실제로 얼마나 큰 문제를 만들어내는지 아는 사람은 많지 않습니다.
AI가 학교에서 배우는 것은 데이터입니다. 인터넷에 공개된 텍스트, 디지털화된 책과 논문, 공개된 기록들. AI는 이것들을 학습합니다. 그런데 세상에는 공개된 것보다 공개되지 않은 것이 훨씬 많습니다.
닫힌 데이터입니다.
한국에서 AI를 쓸 때 이 문제가 특히 크게 나타납니다.
판례가 대표적입니다. 법원 판결은 사회의 가장 중요한 기록 중 하나입니다. 비슷한 상황에서 법원이 어떻게 판단했는지가 앞으로의 판단 기준이 됩니다. 그런데 한국은 판례의 상당 부분이 공개되지 않습니다. 일부는 유료로만 접근할 수 있고, 일부는 아예 외부에서 볼 수 없습니다.
AI는 공개된 것만 학습했습니다. 공개되지 않은 판례는 AI의 학습 데이터에 없습니다. 없는 것은 모릅니다.
그런데 AI에게 법률 문제를 물어보면 AI는 답합니다. 조항을 인용하고, 판례를 언급하고, 결론을 내립니다. 자신 있게. 구체적으로.
그 판례가 실제로 존재하는지, 그 해석이 실제 법정에서 통하는지 AI는 보장하지 않습니다. 하지만 답변의 형식은 보장하는 것처럼 보입니다. 할루시네이션은 이렇게 작동합니다.
AI는 모른다는 것을 잘 모릅니다. 정확히는, 모를 때도 아는 것처럼 답하도록 훈련되어 있습니다. 질문에 답을 내놓는 것이 AI의 기본 작동 방식이기 때문입니다.
데이터가 없으면 비슷한 데이터를 조합합니다. 판례가 없으면 비슷한 판례를 만들어냅니다. 근거가 없으면 그럴듯한 근거를 생성합니다. 그리고 그 답변은 실제 데이터를 바탕으로 한 답변과 형식적으로 구별이 되지 않습니다.
이것이 할루시네이션입니다.
거짓말이 아닙니다. AI는 거짓말을 하려는 의도가 없습니다. 그냥 패턴을 따라 다음에 올 그럴듯한 텍스트를 생성할 뿐입니다. 그 텍스트가 사실인지 아닌지는 AI의 관심사가 아닙니다.
이것이 더 무서운 이유입니다. 의도적인 거짓말은 동기가 있고 패턴이 있습니다. 하지만 할루시네이션은 예측할 수 없습니다. 언제 틀릴지 모릅니다. 그리고 틀릴 때도 자신 있게 틀립니다.
실제로 이런 일이 일어날 수 있습니다.
부동산 계약 문제를 AI에게 물어봅니다. AI는 관련 법 조항과 판례를 들어 명쾌한 답을 내놓습니다. 그 사람은 안심하고 계약을 진행합니다. 나중에 변호사에게 확인해보니 AI가 인용한 판례는 실제로 존재하지 않습니다. 그 조항의 해석도 실제 법원의 입장과 다릅니다. 집을 잃습니다.
극단적인 사례처럼 들릴 수 있습니다.
그런데 정도의 차이가 있을 뿐 이런 일은 매일 어딘가에서 일어나고 있습니다.
대부분은 확인하지 않아서 모를 뿐입니다.
그렇다면 AI의 답변을 어떻게 받아들여야 할까요?
세 가지 기준을 제안합니다.
첫째, 결과가 중요한 결정일수록 반드시 전문가에게 확인하십시오. AI의 법률 답변, 의료 정보, 재무 판단은 참고용입니다. 결정의 근거가 되어서는 안 됩니다.
둘째, AI가 구체적인 수치나 판례를 인용할 때는 의심하십시오. 그럴듯할수록 더 조심해야 합니다. 확인할 수 있다면 확인하고, 확인하기 어렵다면 그 답변의 무게를 낮추십시오.
셋째, AI에게 출처를 물어보십시오. "이 정보의 출처가 무엇입니까"라고 묻고, 그 출처를 직접 확인하십시오. AI가 출처를 명확히 말하지 못한다면 그 답변은 신중하게 다루어야 합니다.
AI를 쓰지 말자는 이야기가 아닙니다.
AI는 강력한 도구입니다. 방대한 정보를 빠르게 정리하고, 복잡한 개념을 쉽게 설명하고, 다양한 가능성을 탐색하는 데 탁월합니다. 이 능력을 활용하지 않는 것은 낭비입니다.
다만 도구를 제대로 써야 합니다. 칼이 날카로울수록 다루는 사람의 주의가 필요합니다. AI가 강력할수록 그것을 쓰는 사람의 판단이 중요합니다.
닫힌 데이터가 있다는 것을 알고, 할루시네이션이 있다는 것을 알고, 그럼에도 AI를 쓰는 것. 이것이 AI를 제대로 쓰는 것입니다.
당신이 AI의 답변을 그대로 믿었다가 나중에 다른 사실을 알게 된 적이 있습니까?
그 경험이 AI를 대하는 방식을 바꾸었습니까?