환각이라는 문제
생성형 AI를 사용하다 보면 조금 이상한 경험을 하게 된다.
AI에게 질문을 했을 때 매우 자연스러운 문장으로 답을 하지만, 가끔은 존재하지 않는 논문을 설명하거나 틀린 정보를 매우 확신에 찬 문장으로 말하기도 한다.
처음 이런 경험을 한 사람들은 보통 이렇게 말한다.
“AI가 거짓말을 했다.”
하지만 인공지능은 거짓말을 하는 존재가 아니다. 사실 AI에게는 거짓말이라는 개념 자체가 없다.
이 현상은 인공지능의 작동 방식에서 자연스럽게 발생한다.
앞서 이야기했듯이 생성형 AI의 기본 원리는 다음 단어의 확률을 계산하는 것이다. 질문이 들어오면 AI는 데이터 속에서 가장 비슷한 패턴을 찾고 그 패턴을 바탕으로 문장을 만들어낸다.
문제가 되는 순간은 데이터 속에 정확한 답이 존재하지 않을 때다.
이때 AI는 가장 그럴듯한 문장을 만들어낸다. 그리고 그 문장은 실제 사실과 다를 수도 있다.
AI 연구자들은 이런 현상을 환각(Hallucination)이라고 부른다.
이 이름은 조금 과장된 표현처럼 보일 수도 있지만, 실제로 꽤 정확한 설명이다. AI는 실제로 존재하지 않는 정보를 만들어내면서도 그것을 사실처럼 표현하기 때문이다.
이 문제는 생성형 AI가 가진 구조적 특징에서 나온다.
검색 엔진은 정보를 찾는 시스템이다. 사용자가 질문을 하면 이미 존재하는 문서를 찾아 보여준다.
하지만 생성형 AI는 조금 다르다.
AI는 정보를 찾는 것이 아니라 문장을 생성한다.
그래서 질문에 대한 정답이 명확하지 않거나 데이터가 부족한 경우에도 AI는 답을 만들어내려고 한다. 그 결과가 바로 환각이다.
연구자들은 이 문제를 줄이기 위해 다양한 방법을 시도하고 있다. 외부 데이터베이스를 연결하거나 검색 시스템을 함께 사용하는 방식이 대표적이다. 하지만 아직 완벽하게 해결된 문제는 아니다.
흥미로운 점은 이 문제가 단순한 기술적 오류를 넘어 정보 환경의 변화와도 연결된다는 것이다.
인터넷 초창기에는 정보를 찾기 위해 여러 웹사이트를 비교해야 했다. 검색 결과를 읽고 서로 다른 정보를 대조하면서 판단해야 했다.
하지만 생성형 AI 시대에는 하나의 문장이 답처럼 제시된다.
이 변화는 편리함을 가져왔지만 동시에 새로운 질문을 만든다.
우리는 어디까지 AI의 답을 신뢰할 수 있을까.
어쩌면 생성형 AI 시대에 가장 중요한 능력은 기술을 사용하는 능력이 아니라 정보를 판단하는 능력일지도 모른다.