- 생성형 AI는 왜 틀린 답을 확신에 차서 말할까
최근 생성형 AI를 활용한 학습 사례가 빠르게 늘어나면서, AI가 제공하는 답변의 정확성과 신뢰성에 대한 논의도 함께 확산되고 있다. 생성형 AI는 질문에 대해 문법적으로 완결되어 있고 논리적으로 정리된 답변을 제시하는 경우가 많아, 사용자가 그 내용을 사실로 받아들이기 쉽다. 실제로 여러 연구와 기술 보고서에서는 생성형 AI가 출처가 불분명하거나 사실과 다른 내용을 포함한 답변을 생성하는 사례가 반복적으로 확인되고 있음을 지적한다. 이러한 현상은 AI의 오류가 단순한 예외라기보다, 표현 방식 자체가 사용자의 판단에 강한 영향을 미친다는 점을 시사한다.
생성형 AI는 왜 틀린 답을 내놓으면서도 그것을 마치 정답처럼 확신에 차서 말하는가.
이 질문에 답하기 위해서는 생성형 AI의 작동 원리를 먼저 이해할 필요가 있다. 생성형 AI는 흔히 인간처럼 사고하고 판단하는 존재로 오해되지만, 실제로는 사실을 검증하거나 의미를 이해하는 주체가 아니다. 생성형 AI는 대규모 텍스트 데이터를 학습해 문맥상 다음에 등장할 가능성이 높은 단어를 확률적으로 예측하는 ‘차기 토큰 예측(Next Token Prediction)’ 모델이다. 즉 AI의 핵심 기능은 질문의 사실 여부를 판단하는 것이 아니라, 통계적으로 가장 그럴듯한 문장을 생성하는 데 있다. 이 구조에서는 문장의 자연스러움과 논리적 연결성은 정교하게 구현되지만, 그 내용이 실제 세계의 사실과 일치하는지는 별도의 검증 과정을 거치지 않는다. 생성형 AI에서 오류가 반복적으로 나타나는 이유는 정보가 부족해서라기보다, 애초에 사실 판단을 수행하도록 설계된 기술이 아니기 때문이다.
이러한 구조 위에서, 생성형 AI가 학습한 데이터의 태생적 한계는 오류를 더욱 증폭시키는 조건으로 작용한다. AI가 학습한 데이터에는 인간 사회에 존재하는 편향된 관점이나 이미 왜곡된 정보가 포함되어 있을 수 있으며, 특정 시점까지의 데이터만을 학습하는 지식 컷오프(Knowledge Cutoff)로 인해 최신 정보에 대해서는 구조적으로 취약할 수밖에 없다. 그러나 이러한 요인들은 오류의 근본 원인이라기보다는, 이미 존재하는 구조적 한계를 강화하는 조건에 가깝다. 결국 생성형 AI에서 나타나는 환각 현상은 정보의 양이나 최신성 부족 때문이 아니라, 사실 판단이 아닌 확률적 언어 조합을 수행하도록 설계된 기술적 특성에서 비롯된다고 볼 수 있다.
또한 생성형 AI는 답변 생성을 멈추지 않도록 설계되어 있다는 점에서도 한계를 드러낸다. 생성형 AI 모델은 사용자에게 유용하고 완결된 응답을 제공하도록 인간 피드백 기반 강화학습(RLHF)을 거친다. 이 과정에서 “모른다”거나 “정보가 부족하다”는 응답보다, 그럴듯한 설명을 제시하는 답변이 더 긍정적으로 평가되는 구조가 형성될 수 있다. 이른바 아첨 현상(Sycophancy)이라 불리는 이 특성은 AI가 사용자의 기대에 맞추어 확신에 찬 어조로 답변을 구성하게 만든다. 따라서 확신에 찬 문장은 AI의 지능이 높다는 증거라기보다, 답변 생성을 지속하고 사용자 만족도를 높이도록 설계된 시스템의 산물이라고 이해하는 것이 타당하다.
문제는 이러한 확신이 인간의 인지 과정과 결합하면서 착각을 만들어낸다는 데 있다. 인지심리학 연구에서는 정보의 정확성보다 문장의 유창성과 표현의 매끄러움이 진실 판단에 더 큰 영향을 미치는 유창성 편향(Fluency Bias)이 존재함을 반복적으로 확인해 왔다. 문장이 자연스럽고 논리적으로 정리되어 있을수록 사람들은 그 내용을 비판적으로 검토하지 않고 받아들이는 경향을 보인다. 생성형 AI의 답변은 문법적으로 완결되어 있고 설명의 흐름이 분명하기 때문에, 사용자는 이를 의심하기보다 정리된 지식으로 인식하게 된다. 이 과정에서 사고의 점검 과정은 자연스럽게 생략된다.
이러한 특성은 학습 환경에서 더욱 뚜렷한 위험으로 나타난다. 생성형 AI를 활용하는 학생들은 빠르게 답을 얻는 편리함 때문에, 제시된 내용을 검증하거나 다른 자료와 비교하는 과정을 생략하기 쉽다. 이는 학습 효율이 높아진 것처럼 보이지만, 실제로는 근거를 따지고 질문을 재구성하는 사고 활동이 약화되는 인지적 외주화를 초래할 수 있다. 특히 AI의 답변이 교과 개념과 유사한 용어로 정리되어 있을 경우, 학생은 개념을 충분히 이해하지 못한 채 ‘알고 있다’는 착각에 빠지게 된다. 이 지점에서 생성형 AI의 문제는 기술 자체보다, 그것을 학습에 사용하는 방식과 태도에 있음을 분명히 인식할 필요가 있다.
결국 생성형 AI를 둘러싼 논의는 기술의 정확도를 개선하는 문제를 넘어, 학습자가 지식을 어떻게 대하는가라는 근본적인 질문으로 이어진다. 생성형 AI는 앞으로도 점점 더 자연스럽고 설득력 있는 답변을 제시할 것이며, 그 과정에서 오류가 완전히 사라지기는 어려울 것이다. 이러한 환경에서 중요한 것은 AI가 틀릴 수 있다는 사실을 아는 데서 멈추지 않고, 왜 그런 답이 나왔는지를 다시 묻는 능력이다. 질문을 던지고, 근거를 요구하며, 다른 가능성을 검토하는 사고가 없다면 학습자는 AI의 답변을 지식으로 착각하게 된다. 그렇다면 생성형 AI 시대에 우리가 길러야 할 학습자의 핵심 역량은, 더 많은 정보를 빠르게 얻는 능력이 아니라, 그 정보를 의심하고 다시 질문할 수 있는 힘은 아닐까.
앞으로의 교육은 AI를 어떻게 활용할 것인가를 가르치기보다, 학생들이 어떤 질문을 던질 수 있도록 돕는 방향으로 나아가야 하는 것은 아닐까.