AI환각(Hallucination)

대한민국은 전세계 기준으로 AI사용에 거이 미쳐있는 나라라고 합니다.

챗GPT기준 인구수 대비 유료사용자가 전세계 1위라고 합니다.(물론 절대 숫자로 1위는 미국입니다.) 괜히 OpenAI가 한국에 지사를 설립하는게 아니라는 거죠~

이런현실이다보니 일반 회사원들 같은 경우엔 이 AI에 대한 스트레스가 장난이 아니라는 기사도 있네요~ 뭐만 하면 "야 뭐 AI로 할만한거 뭐 없냐?" 라고 하는 정도라니 말 다한것 같습니다.

그 정도로 AI는 이제 우리 일상에서 낯선 존재가 아닙니다.

스마트폰의 음성비서부터 자율주행차, 고객상담 챗봇, 그리고 최근 각광받는 생성형 AI까지, 우리는 어느새 AI와 함께 살아가고 있죠. AI는 인간이 하기 어려운 반복 작업을 빠르고 정확하게 처리해주며, 요새는 창의적인 결과물까지 만들어내 인간의 업무와 생활에 큰 도움을 주고있습니다. 제가 일하는 학원업도 다르지 않습니다. 별별 곳에서 AI는 그 영향력을 넓혀가고 있습니다.

그러나 이런 놀라운 가능성 뒤에는 아직 해결되지 않은 심각한 문제점이 있습니다.

여러 문제점이 있겠지만 제가 그중 가장 심각하다고 생각하는것은 "AI 환각(Hallucination)"이라고 생각합니다.

AI환각이란 말 그대로 'AI가 현실과 맞지 않는 허구의 정보나 논리적으로 오류가 있는 결과를 진짜인 것처럼 그럴듯하게 만들어내는 현상'을 말합니다. 특히 최근 몇 년간 급격히 발전한 LLM에서 자주 나타나는 문제입니다.

저는 이런 AI환각을 몇번 당해본적이 있어서 그 예시를 먼저 말씀드리겠습니다.

1. 수학문제 푸는것은 아직 AI로는 어려운 이야기 입니다. 물론 중학교 정도 수준의 수학문제야 아무 문제가 없습니다만, 고등과정이나 수능문제들은 아직 너무나 갈길이 멉니다. 문제는 문제를 올리면 그 풀이는 꽤 그럴듯하게 한다는 점입니다. 물론 다 틀리지만요.

2. 제가 에어팟을 구해해 보려고 검색을 했는데, 이미 에어팟 4가 나와있는 상황임에도 불구하고, AI는 에어팟 4는 나오지 않았다고 끝까지 저를 설득하려고 하더라구요. 제가 공홈 웹 페이지 사진까지 제시를 했음에도 이 사진은 조작된거라고 하더군요.

3. 컴퓨터 조립을 위해서 최신 CPU에 대한 정보를 검색했었는데, 제가 알고있는 사실과는 많이 다른 이야기가 나와서 이후 다른 리뷰나, 공식 사이트 등을 검색한 결과 또 AI가 틀렸다는 것을 알게 되었습니다.

크로스체크를 하면 되지 않는냐 라고 물으신다면, 그럼 여러분은 얼마나 크로스체크를 하십니까? 라고 되묻고 싶습니다. 하시나요??? 아마 대부분 아니실껍니다.

이런 AI환각의 문제는 AI가 만들어낸 내용은 이놈의 AI가 확신을 갖고 이야기하는 법이 많기 때문에(제 경함상 그렇습니다.) 문법적으로 자연스럽고 맥락에도 잘 어울리기 때문에, 사용자가 쉽게 믿어버리기 쉽고 한 번 접한 그 내용은 프레이밍 효과로 인해 사람들의 머릿속에 진실로 자리하게 될 가능성이 높다는 점입니다.

이것이 바로 단순한 오류와는 다른 지점 입니다. AI가 틀린 답을 내놓을 수 있다는 점은 어느 정도 예상할 수 있지만, 문제는 AI가 자신감 있게, 매우 그럴싸한 형태로 거짓을 이야기하기 때문에, AI의 답을 그대로 신뢰하면 잘못된 정보가 확산되고, 이를 토대로 의사결정을 할 경우 심각한 문제를 야기할 수 있다는 점입니다.

이러한 AI 환각은 사실 그 구조를 알면 당연히 알 수가 있습니다.

첫째, 현재의 AI는 ‘이해’를 기반으로 정보를 생성하는 것이 아니라, 주어진 데이터에서 ‘패턴’을 찾아내는 방식으로 작동을 합니다. 인간처럼 맥락과 논리, 사실의 진위를 따져서 답을 내놓는 것이 아니라, 이전에 학습한 문장 구조와 어휘의 연관성을 토대로 ‘가장 그럴듯한 문장’을 예측하는 방식인 것이죠. 즉, AI는 진짜와 가짜를 구분하는 능력이 본질적으로 약할 수 밖에 없습니다.

둘째, 학습 데이터의 한계도 있겠죠. AI가 아무리 방대한 데이터를 학습했다고 해도, 세상 모든 정보를 포함할 수는 없다. 특히 최신 정보나 전문적인 분야에서는 데이터 부족으로 인해 AI가 스스로 빈틈을 메꾸려다 허구를 만들어내는 경우가 발생하는 느낌이 듭니다. 위 사례만 보더라도 최신 기술이나 제품에 대해서는 많은 오류가 있다는 것을 아실 수 있으실 껍니다.(거꾸로 오랜 데이터가 쌓인 과학적 사실이나, 역사적 자료들에서는 아주 정확한 답변을 하는것을 알 수도 있습니다.)

그렇다면 우리는 이 AI 환각 문제를 어떻게 극복할 수 있을까요?

완전한 해결은 아직 쉽지 않지만, 현재 업계와 연구자들은 다양한 노력을 기울이고 있다고 합니다. 하지만 그게 완벽할 수는 없으니 사용하는 우리의 입장에서도 대응을 해야 할 것 입니다.

첫째, 크로스체크입니다. 최근 많은 AI 서비스에서는 AI가 답변과 함께 참고한 출처를 함께 제공하는 방식을 표기하기도 하는데요~ 이 원글을 다시한번 확인해보는 것입니다. 그 사이트가 믿을만한 사이트인지, 인지도가 얼마나 있는 사람이 리뷰를 한 것인지 정도만 확인해도 오류가 많이 줄어듭니다.

둘째, 이건 좀 어거지 같긴 한데 여러 AI모델들을 돌려서 교차 검증을 하는 방법입니다. 인간이 해야할 검증을 또다른 AI에게 시키는 방법입니다.

셋째, 결국 결정은 사람이 하는 것임을 알아야 합니다. AI는 어디까지나 강력한 도구일 뿐, 그 자체로 완전한 지식의 대체자가 될 수 없습니다. 따라서 AI의 출력은 항상 사람이 한 번 더 검토하고, 비판적으로 받아들여야 합니다. 특히 전문가 영역에서는 AI의 결과를 곧이곧대로 받아들이지 말고, 해당 분야의 전문가가 최종 판단을 내려야 한다는 원칙이 중요할 것입니다. 사업을 하는 입장에서는 결국 사장의 결정이 중요하다는 이야기 일껍니다.

결론은 결국 이전부터 제가 꾸준히 해오던 이야기로 결론이 날 것 같습니다.

"주어진 정보를 비판적으로 받아들이고, 팩트를 검증하려는 노력이 필요하다!!!!!"

유튜브나 AI나 기본적으론 다를게 없는것 같습니다.

AI는 인간에게 무궁무진한 가능성을 열어주는 강력한 도구입니다. 하지만 동시에 AI환각과 같은 고질적인 한계를 가지고 있음을 우리는 잊지 말아야 합니다. ‘AI가 그랬으니까 맞겠지’라는 무분별한 신뢰는 너무나 위험합니다. AI의 놀라운 능력을 제대로 활용하려면, 우리는 AI를 이해하고, 그 한계를 인식하며, 이를 보완할 방법을 함께 고민해야만 할 것입니다.

AI와 인간은 경쟁자가 아니라 동반자라고 생각합니다. AI가 만든 결과물을 현명하게 다루고, 그 안에서 인간의 비판적 사고와 검증 노력이 더해질 때, 비로소 우리는 AI 환각이라는 함정을 넘어설 수 있지 않을까요? 앞으로 AI 기술은 더 정교해지고, 환각을 줄이기 위한 다양한 기술적 진보가 이어지겠지만, 그 길목에서 우리가 할 일은 AI를 맹목적으로 믿는 것이 아니라, 지혜롭게 활용하는 것이라고 생각합니다.

이것이 AI 시대를 살아가는 우리가 가져야 할 중요한 자세중에 하나라고 생각합니다.