AI는 저장된 기억을 검색하지 않고 패턴에 의존한다

인공지능 길들이기

Jul 14. 2025

<듀얼 브레인> 5장(章)[1] <창작가로서의 AI> 중에서 앞부분을 읽고 밑줄 친 내용을 토대로 생각을 담습니다.

원칙 1. 작업할 때 항상 AI를 초대한다

AI와 협업하기 위한 첫 번째 원칙으로 작업할 때 항상 AI를 초대한다.'라고 했다.

'항상'에 방점(傍點)[2]이 찍혀 있는 듯합니다. 아직 '항상' 하고 있지는 않은 터라 도구를 만들거나 재구성하거나 해야 할 것 같다는 충동이 생깁니다. 다시 밑줄 친 내용을 보겠습니다.

AI를 제한하는 가장 큰 문제이자 AI의 강점이기도 한 특성이 바로 악명 높은 환각, 즉 사실이 아닌 정보를 그럴듯하게 지어내는 능력이다. LLM은 학습 데이터의 통계적 패턴에 기초해서 프롬프트에 입력된 글 바로 뒤에 나올 가능성이 가장 높은 단어를 예측하는 방식으로 작동한다는 점을 기억하자. LLM은 그 단어가 진실인지, 의미가 있는지, 독창적인지는 신경 쓰지 않는다. 그저 사용자를 만족시키는 일관되고 그럴듯한 텍스트를 생성하려 할 뿐이다. AI 환각은 참인지 거짓인지 구분하기 힘들 정도로 그럴듯하며, 문맥상으로도 적절해 보인다.

결과 자체가 유용하지 않다고 '확각'을 바라보고 평가하던 때가 있었습니다. 그러나, 배경 지식을 알수록 가치 평가는 사람의 몫이고, 인공지능이 '진실을 따지거나 독창성을 따질 동기가 없다'는 사실을 분명하게 이해합니다. 사람들이 인공지능에게 가치 평가를 어떻게 할지 영향을 끼치긴 하겠지만, 적어도 아직까지는 가치 평가는 사람의 몫입니다.

AI는 답을 즉흥적으로 낸다

비 전문가를 위한 글로써는 가장 훌륭한 수준의 설명이라 감탄합니다.

LLM은 텍스트를 직접 저장하는 것이 아니라, 어떤 토큰이 다른 토큰 뒤에 올 가능성이 더 높은지에 관한 패턴을 저장한다. 이 말은 AI가 실제로는 아무것도 '알지' 못 한다는 의미다. AI는 답을 즉흥적으로 낸다.

그리고, '답을 즉흥적으로 낸다'라는 설명은 생성형Generative의 가장 중요한 특징이 아닌가 싶습니다. 다만, '실제로는 아무것도 알지 못한다'는 말에는 거부감을 표할 사람들이 많을 듯합니다. 저자는 왜 '실제로 알지 못한다고 말하는지' 예를 들어 설명합니다.

AI가 허구와 현실을 구분하지 못해서 우스운 일이 벌어지기도 한다. 예를 들어 데이터 과학자인 콜린 프레이저Colin fraser는 챗GPT에게 1에서 100 사이의 숫자를 아무거나 대보라고 요청했을 때, '42'라고 대답할 확률이 10퍼센트라는 사실을 발견했다. 챗GPT가 정말 무작위로 숫자를 골랐다면 42라는 답이 나올 확률은 1퍼센트가 되어야 한다.

별의미는 없지만 재미 삼아 저도 따라 몇 차례 물어보았습니다. 우연이겠으나 Grok만 첫 번째에 42를 말합니다.

AI는 저장된 기억을 검색하지 않고 패턴에 의존한다

묘한 동시에 심오한 내용입니다.

프레이저는 Al가 마주치는 숫자 중에서 42가 다른 숫자들보다 훨씬 많기 때문에, 결과적으로 AI가 무작위로 답을 제공한다고 착각하면서 이 숫자를 출력할 가능성이 높아진다고 추측했다. 이러한 기술적 문제는 AI가 데이터 저장소가 아니라 패턴에 의존해 답변을 생성한다는 점이 가중되면서 한층 복잡해진다. AI에게 인용문이나 명언을 알려 달라고 요청하면, AI는 저장된 기억에서 검색하는 것이 아니라 학습한 데이터 사이의 연관성을 기반으로 해당 인용문이나 명언을 생성한다.

더불어 박문호 박사님께 배운 기억의 동적 성질도 떠오릅니다. 거기에 더하여 <제 정신이라는 착각>을 읽으며 배운 편향도 연상됩니다. 인공지능이 우리 뇌의 작동과 비슷한 것 아닌가 하는 느낌에서 나오는 연상이라 할 수 있습니다.

첫 줄을 읽으며 '그렇구나'하게 속말을 하게 됩니다.

구체적인 사실을 정확히 기억해 내야 하는 작업에서는 언제든 환각이 나타날 가능성이 높다. 다만 인터넷 검색처럼 외부 자료를 이용할 수 있는 기능을 추가하면 상황을 개선할 수 있다.

<AI알못 입장에서 이해한 RAG와 RLHF 효용성>에서 인용한 Retrieval-Augmented Generation를 논문에서 처음 접하던 작년 1월만 해도 낯설었던 개념인데, 그사이 하루에도 몇 차례 말하는 단어가 되었습니다.

구조적으로 만날 수밖에 없는 Hallucination

저자는 AI 작동 원리를 비전문가도 이해하기 쉬운 표현들을 훌륭하게 구사합니다.

일반적으로 LLM은 정보가 충분하지 않을 때 "잘 모르겠습니다."라고 말하도록 최적화되어 있지 않다. 그 대신 꾸며낸 답을 자신 있게 제시할 것이다.

그리고 Hallucination이 심각한 부작용을 일으키는 AI 활용 사례를 제시합니다.

이 자료가 가짜 판례였다는 사실은 상대측 변호사에 의해 발견됐다. 상대측 변호사는 법률 데이터베이스를 검색했지만, 해당 판례에 관한 기록을 찾을 수 없었고, 이 사실을 판사에게 알렸다. 판사는 슈워츠에게 출처를 설명하라고 명령했다. 슈워츠는 판례를 찾으려고 챗GPT를 사용했던 것이며, 결코 법정을 기만하거나 부정한 짓을 저지르려고 한 것은 아니라고 실토했다.

슈워츠가 챗GPT를 사용하는 일은 법정이라는 맥락 즉, 판사들의 입장은 고려하지 않은 시험적 행위라 할 수 있습니다.

판사인 P. 케빈 카스텔P. Kevin Castel은 슈워츠의 해명에 납득하지 않았다. 그는 슈워츠가 악의적으로 행동했으며, 근거 없는 허위 정보를 제출해 법정을 잘못된 길로 이끌었다고 판결했다. 또한 슈워츠가 사건의 제목, 날짜, 인용문 등 해당 정보가 허위임을 알아챌 수 있는 위험 신호가 있었음에도 이를 무시했다는 사실도 발견했다.

챗GPT가 Hallucination을 내놓았다고 해서, 증인으로 끌어들일 수는 없습니다. 적어도 현재 챗GPT는 법정에서 고려되는 요소가 되지 못합니다.

최근 논문을 훑어보면 인공지능 연구자들도 Hallucination을 줄이는 일을 모델 품질의 아주 중요한 요소로 보고 있는 듯합니다.

이렇게 자잘한 환각은 포착하기가 정말 힘들다. 나 역시 AI가 답변한 모든 사실과 문장을 빠짐없이 꼼꼼히 읽고 자료를 찾아 사실 확인을 거친 뒤에야 환각이 있었음을 발견할 수 있었다. 그런데도 내가 놓친 부분이 여전히 있을지도 모른다. 이것이 환각을 위험하게 만드는 이유다. 눈에 띄는 큰 오류가 아니라 알아차리기 힘든 작은 오류가 문제를 일으키는 원인이 될 수 있기 때문이다.

그리고 Hallucination을 줄이기 위해 다양한 개념과 기술적 기법들을 동원하고 있습니다.

환각 문제가 완전히 사라지지는 않겠지만, 앞으로 개선될 가능성이 높다. AI와 협업하기 위한 네 번째 원칙인 "지금의 AI를 앞으로 사용하게 될 최악의 AI라고 생각한다."를 기억하자. 지금도 약간의 경험만 있으면 AI가 환각을 일으키지 않도록 하거나 신중한 사실 확인이 필요한 때를 알아차리는 요령을 익힐 수 있다.