ChatGPT는 거짓말을 하지 않는다.
AI 환각과 이를 해결하는 근본적인 방법
AI와 인류가 공존하는 시대를 살면서, ChatGPT가 거짓말을 한다며 투덜대는 사람을 종종 봐왔다.
나도 AI를 쓰다 보면 없는 정보를 지어내고 그럴듯하게 포장하는 일이 흔하게 일어난다.
실제로 거짓말를 참 그럴싸하게 해서 간혹 있지도 않은 버스 시간표로 사용자를 당혹시키기도 한다.
그렇다면 정말로 Chat GPT는 거짓말쟁이일까?
AI에게는 거짓말이라는 개념이 없다!
우리의 궁금증에 대한 해답을 찾으려면 우선 AI의 작동 원리를 알아야 한다.
전작에서 GPT의 작동 원리에 대해 설명한 적이 있었다. 현대의 많은 AI모델은 방대한 양의 정보를 모델에 학습시킨 뒤, AI의 목적에 따라 작은 조정을 거쳐 출시된다.
우리가 흔히 접하는 ChatGPT, Gemini, Claude 등은 질문을 바탕으로 적절한 답변을 만들어내는 생성형 AI라고 부른다. 생성형 AI는 정확한 답이 아니라 다음에 올 가장 자연스러운 단어를 목표로 한다.
한가지 예를 들자면. 사람은 논리적으로 생각한다. 해가 질 때쯤 공전과 자전 때문에 달이 보이고, 하늘이 어두워져 별이 보인다는 것을 안다. 하지만 생성형 AI에게 달과 별은 같다. 둘 다 낮에는 보이지 않다가, 밤이 되면 보이기 때문이다. AI는 논리적으로 생각하지 않는다. 대신 통계적인 유사성을 기반으로 답을 도출한다.
AI는 우리의 질문을 정확히 이해하지 않는다. 그저 학습된 데이터들을 바탕으로 ‘이런 질문엔 이런 답변이 자연스럽겠구나’ 라고 판단하여 답을 생성한다. 그러므로 AI가 거짓말을 한다는 말은 틀렸다. AI에게는 거짓말이라는 개념 자체가 존재하지 않는다.
AI 환각
앞서 말했듯 AI는 고의적으로 사용자를 기만하지 않는다. 확률적으로 가장 그럴싸한 대답을 생성할 뿐이다.
하지만 이렇게 생성된 대답이 실제와 다른, 만들어진 정보일 수 있다. 이를 전문 용어로 환각(hallucination)이라고 부른다.
우리의 질문이 AI의 모델에 없을 경우, 모델은 비슷한 맥락을 조합해 답변을 만들어내는데, 이 과정에서 존재하지 않는 정보가 섞일 수 있다. 존재하지 않는 인물이나 책 제목을 생성하는 경우가 이에 해당된다.
출처: A Survey of Hallucination in Large Foundation ModelsAI 환각에 관한 내용은 이미 학계에서도 유명하기 때문에 이를 다룬 논문도 많다. 위의 그래프는 23년에 AI의 환각에 관한 논문이 쓰여진 수를 그래프로 보여준다. 대략 반년 동안 관련 주제로만 25편의 논문이 쓰여졌다.
그동안 AI환각을 해결하기 위해 학계에서도 많은 노력을 했지만 아직까지도 종종 보이는 AI 환각 문제, 그렇다면 우리는 이 문제를 어떻게 대처해야 할까?
악의 없는 기만에 속지 않으려면
아무리 AI가 거짓말을 잘 한다고 해도, 인터넷에서 흔하게 찾을 수 있는 정보는 잘 틀리지 않는다. 문제는 인터넷에 쉽게 나오지 않는 정보를 물어볼 때 발생한다.
버스 시간표나 집 주변 맛집 등의 질문은 인터넷 검색으로 쉽게 찾기 힘들고 유사한 검색 결과도 매우 많다.
인터넷으로 검색해도 잘 안 나오니 AI에게 물어보는 것이겠지만, 아이러니하게도 그럴수록 AI가 잘못된 답변을 내놓기 쉽다. 따라서 AI에게 물어보기 전에 검색하면 나오는 정보인지를 한번 생각해 보는 것이 좋다.
나는 AI환각을 방지하는 가장 확실하고 근본적인 해결책이 이미 우리 안에 있다고 생각한다. AI가 다양한 분야에서 인간을 따라잡은 건 맞지만, 인간만이 가진 논리적 추론의 힘은 아직 AI도 따라잡지 못한 영역이다.
AI는 친구도 될 수 있고 도구도 될 수 있지만, 주인이 되어서는 안 된다. AI에게 익숙해진 나머지 인간 본연의 능력을 잃지 않도록 주의가 필요하다.