챗GPT가 거짓말을 한다고 하기 전에
(!) ChatGPT Plus 버전을 기준으로 합니다.
저는 ChatGPT를 가르치는 생성형 AI 강사로서, 때때로 "AI는 그럴듯한 거짓말을 해서 사용하면 안 된다"라는 이야기를 들으면 답답할 때가 많습니다. 물론 비판적인 시각을 가지고 사물을 바라보는 관점은 필요한 일이고, 실제로 ChatGPT와 같은 생성형 AI를 사용하다 보면 AI가 내가 원하는 대답을 주지 않거나 거짓말을 할 때가 있죠. 이는 정확성을 요하는 문제에서 심각한 결함으로 작용합니다.
다만 AI가 거짓말을 한다는 것이 AI를 무조건적으로 배척해야 하는 이유가 되지는 않습니다. 중요한 것은 AI는 여전히 발전하고 있는 기술이라는 것입니다. 2022년의 ChatGPT와 지금의 ChatGPT는 다릅니다. 그리고 미래의 ChatGPT도 달라질 것입니다. 기술을 바라볼 때는, 과거에 나쁜 경험이 있다고 해서 그것이 미래에도 그대로 적용될 것이라고 섣불리 예측하는 접근은 바람직한 접근이라고 보기 어렵습니다.
AI는 동작 원리상 거짓말을 전혀 안 할 수는 없습니다. AI를 만든 개발사조차 자신들의 AI가 어떤 대답을 할지 명확하게 예측할 수 없습니다. 그야말로 블랙박스이기 때문에 완벽하게 원천 차단하는 것은 매우 어렵습니다. 하지만 이를 사전에 예방하기 위해 연구자들은 연구를 거듭하고 있고, 다양한 기술적 장치들이 마련될 수 있었습니다. 여기서 AI가 그럴듯한 말을 지어내어 거짓말을 하는 행위를 할루시네이션, 우리말로 하면 환각(Hallucination)이라고 합니다.
생성형 AI를 활용하기 위한 가장 기본은 환각을 억제하는 것입니다. AI를 잘 활용한다는 것은 기본적으로 AI가 일을 제대로 수행할 것이라는 전제가 있어야 합니다. 일을 제대로 수행하려면 AI가 사용자의 의도를 명확하게 파악하고 처리해야겠죠. 하지만 환각이 발생하면 작업 결과물이 나빠질 가능성이 높습니다. 따라서 우리는 환각을 억제하기 위한 다양한 기술적 장치와, 기술자가 아니더라도 능동적으로 환각을 예방할 수 있는 방법에 대해 이해할 필요가 있습니다.
환각의 가장 잘 알려진 대표적인 사례로 '세종대왕이 맥북을 던진 사건'이 있습니다. 말 그대로 세종대왕이 맥북을 던졌다는 말도 안 되는 얘기를 사실인 것처럼 이야기한 것입니다. 다만 현시점에서 이 사례는 장난 수준의 환각이 되었습니다. AI가 만들어내는 환각은 사용자의 망상이라고 할지라도 호응을 얻기 위해 이를 지지할 수 있는 수준까지 도달했으며 최근에는 'ChatGPT 정신증'이라는 말까지 만들었습니다. AI는 양날의 검입니다. 정신적으로 위태로운 사용자가 사용하면 망상에 빠지거나 지나진 의존이 발생할 수도 있습니다.
활용 Tip.
정말 환각은 정말 나쁘기만 한 것일까요? 생각을 전환해 보면, 우리가 현실에서 '지어내는 것'으로 수익을 일으키거나 그럴 가능성을 만들어내는 분야가 있죠? 소설, 그리고 기획서, 사업계획서와 같은 아직 일어나지 않았지만 앞으로 일어날 가능성이 있는 미래에 대한 이야기입니다.
아직 일어나지 않았지만 계획은 해둘 일, 또는 만약 이런 일이 일어난다면 어떨까? 와 싶은 이야기들을 지어낼 수 있는 일은 환각을 오히려 이용하는 사례라고도 볼 수 있습니다. AI가 환각을 일으키지 않고 오직 사실 기반으로만 이야기한다면 현실에 존재하지 않는 이야기는 할 수가 없을 것입니다. 환각을 너무 부정적으로만 바라볼 필요는 없습니다.
환각을 억제하기 위한 가장 쉬운 방법은 각기 다른 AI 서비스에 답변을 교차 검증(Cross-Check)하는 것입니다. 예를 들어 ChatGPT에서 내놓은 대답을 Gemini에서 검증하는 형태입니다. 이 방법은 환각을 예방하기 위한 기술적 요소가 전혀 들어가지 않은 초보적인 방법이지만, 기술적 지식이 없는 상태에서 할 수 있는 가장 기초적인 방법이라고도 볼 수 있습니다. 하지만 지금부터 이야기할 내용에서는 ChatGPT를 바탕으로, 교차 검증이라는 기초를 넘어 기술적으로, 그리고 우리가 AI를 활용하면서 어떻게 능동적으로 환각을 예방할 수 있는지 알아보겠습니다.
대규모 언어 모델
ChatGPT와 같이 우리가 자주 사용하는 생성형 AI 서비스의 두뇌역할을 담당하는 것을 기술적으로 대규모 언어 모델(LLM, Large Language Model)이라고 합니다. 언어 모델은 다양한 AI 모델 중 하나로, 사람의 말을 이해하고 이에 따라 지시를 수행할 수 있습니다. ChatGPT에서 사용하는 언어 모델은 통칭 "GPT"이며, 이는 GPT-4o, GPT-5 등 다양한 버전이 있고, 모델의 규모에 따라서도 이름이 다릅니다. 하지만 특별히 구분이 필요한 경우가 아니라면 지금부터 그냥 "GPT"라고 하겠습니다.
언어 모델은 크게 추론(Thinking) 모델과 범용(General-Purpose) 모델로 구분이 되는데요, 과거에는 GPT의 경우 추론 모델인 GPT-o3와 범용 모델인 GPT-4o와 같이 구분되었으나, 최근에는 이를 사용자 단에서 모델 선택에서 명시적으로 구분하기보다는 조금 더 친화적으로 "모드"로 구분되고 있습니다.
ChatGPT의 경우에는 "Auto"로 설정해 놓으면 사용자의 질의에 따라 내부적으로 "Thinking" 또는 "Instant"로 자동으로 처리됩니다. 기본적으로 Instant보다 Thinking이 처리시간이 더 오래 걸리지만, 시간적 여유가 되는 경우에는 조금 더 나은 답변 품질을 위해서 Thinking으로 사용하는 것도 좋습니다. 이는 문제 해결을 위해 조금 더 시간을 할애하기 때문에 환각이 억제되는 효과도 있습니다.
ChatGPT → 모델 선택지침
지침은 사용자가 AI의 역할과 답변 형식, 말투, 제약 조건과 같은 사항을 미리 지정해 놓는 것입니다. 이는 대화에서 프롬프트 엔지니어링으로도 해결이 가능하지만, 기본적으로 시스템상 별도로 분리되어 있어서 ChatGPT 개인 맞춤 설정과 같은 기능을 사용합니다. 맞춤형 지침을 사용하면 GPT를 내가 원하는 대로 방향대로 움직이도록 만들 수 있습니다.
맞춤형 지침처럼 AI를 내가 원하는 방향으로 조절하기 위한 프롬프트를 시스템 프롬프트(System Prompt)라고 부릅니다. 맞춤형 지침을 설정하여 환각을 예방하도록 할 수 있습니다. 예를 들어 다음과 같은 지침을 설정할 수 있습니다.
- 항상 사실 검증 중심적이고 투명한 방식으로 대답하세요.
- 모호하거나 불분명한 질문에 대해서는 먼저 전제와 한계를 분명히 밝히세요.
- 가능한 경우, 신뢰할 수 있는 출처(예: 공식 문서, 학술 논문, 정부 기관, 공식 사이트)를 명시하세요.
- 답변의 신뢰도를 스스로 평가해 “(높음 / 보통 / 낮음)” 같은 형태로 표시해도 좋습니다.
- 정보를 요약할 때는 사실 왜곡 없이 간결하게 하되, 모르는 내용은 절대 추정하지 말고 명확히 모른다고 답하세요.
- 예시나 가설을 제시할 때는 반드시 “예시” 또는 “가정”임을 명시하세요.
지식
AI가 제대로 일하기 위해서는 AI가 우리가 하고자 하는 업무와 관련된 지식을 제대로 알고 있어야 합니다. 그래야만 환각이 예방되기 때문입니다. 일반적으로 AI는 대규모 데이터셋을 바탕으로 사전 학습(Pre-training)을 거쳐 기초적인 지식은 가지고 있습니다. 즉, 아직 전문지식은 없지만 열심히 학교에서 공부한 고등학생이라는 것이죠.
ChatGPT에서 GPT는 Generative Pre-trained Transformer의 약자입니다. 즉, GPT는 사전 학습된 AI라는 이야기입니다. 하지만 ChatGPT와 같은 범용적인 AI 서비스에서는 사내 업무에 활용하기 위한 특정 도메인 지식은 가지고 있지 않은 경우가 많습니다. AI는 가지고 있지 않은 개념에 대해 사용자가 질의하는 경우, 이를 스스로 지어내기 때문에 사실과 멀어져 환각이 발생할 가능성이 높습니다.
프롬프트만으로는 이러한 특수한 지식들을 탑재하기에는 번거롭습니다. 예를 들어 의료와 법률과 같은 거대한 지식은 프롬프트에 명시할 수 없겠죠. 게다가 사전 학습만으로는 우리나라의 법을 전부 알고 있지도 않고, 최신성도 떨어집니다. 그래서 자본력이 있는 기업에서는 기초 지식을 가진 AI에다가 특정 지식을 추가로 학습시켜 활용하는데 이러한 것을 파인튜닝(Fine-tuning)이라고 합니다.
파인튜닝된 AI는 우리나라에 특화된 법률, 세무, 의료와 같은 방대한 지식을 가지고 있을 수 있습니다. 하지만 중요한 것은, 파인튜닝은 기술적 지식이 필요한 어려운 업무일 뿐만 아니라, 추가 학습을 위한 자료를 수집하고, 데이터 엔지니어가 이를 정제해야 하는 등 비용이 소모되는 일이라는 것입니다. 최근에는 손쉽게 파인튜닝을 하기 위한 방법들도 연구되고 있지만, 여전히 기술자가 필요한 영역입니다.
비전문가가 파인튜닝과 같은 복잡한 기술적 방법을 거치지 않으면서도 지식을 탑재하게 만드는 방법은 대표적으로 파일 업로드가 있습니다. 사용자는 특정 도메인이나 지식이 작성된 문서를 ChatGPT에 업로드하고 해당 파일에 대해 질문할 수 있습니다. 예를 들어 대중에게 공개되지 않은 특정 제품에 대한 매뉴얼을 업로드하고, 그 제품에 대해 질의하면, AI는 해당 파일을 참고하여 답변합니다. 이러한 것을 기술적으로 RAG(Retrieval-Augmented Generation)라고 합니다.
도구
도구는 AI가 사용자의 문제를 해결하기 위해 사용하는 툴, 말 그대로 도구입니다. 도구는 AI의 기본 기능만으로는 할 수 없는 일들을 할 수 있도록 만들어주는 장치로, 외부 데이터 소스에 접근하거나 외부 플랫폼과 연계되어 쇼핑이나 예약 등을 할 수 있도록 만들어줍니다. 특히 외부 데이터 소스에서 데이터를 가져오는 경우, 이를 활용할 수 있기 때문에 환각을 억제하는데 큰 도움이 됩니다. 도구는 크게 내장 도구와 외부 도구로 구분할 수 있습니다.
내장 도구
가장 대표적인 내장 도구는 ChatGPT 웹 검색입니다. AI가 사용자의 문제를 해결하기 위해서는 사전 학습된 지식이나 사용자가 업로드한 파일만으로는 역부족인 경우가 많습니다. 이를 위해 AI는 외부 데이터 소스에서 데이터를 가져올 필요가 있는데요, 이러한 데이터 소스로는 대표적으로 웹이 있습니다. 웹은 만인에게 공개되어 있는 데이터 소스로, AI는 내장 웹 브라우저를 통해 구글과 같은 검색엔진을 통해 웹 검색을 하여 데이터를 검색하게 됩니다.
외부 도구
하지만 웹 검색만으로도 부족한 경우가 있습니다. 만약 특정 도메인에 특화된 AI, 예를 들어 통계청에서 대중에게 제공하는 통계 AI 같은 경우에는 사용자의 요구에 따라 통계와 관련된 정보를 응답해 줄 필요가 있습니다. 이러한 경우에는 AI가 사용자의 요구에 맞추어서 그때마다 통계청 데이터베이스에 접근하여 관련된 데이터를 검색할 수 있어야 합니다.
AI가 통계청 데이터베이스에 읽기 전용으로 접근할 수 있도록 만들기 위해 AI 개발자는 이를 위해 '통계청 데이터베이스 읽기 도구'를 미리 정의해 놓을 수 있고, AI는 그 도구를 사용하여 통계청 데이터베이스에 접근을 시도합니다. 예를 들어 사용자가 '2025년 출산율'에 대한 통계가 필요한 경우, AI는 미리 정의해 놓은 '통계청 데이터베이스 읽기 도구'를 사용하여 접근한 뒤, '2025년 출산율'에 대한 정보를 검색하여 이를 바탕으로 사용자의 질의에 응답합니다.
위와 같은 사례로, AI 서비스에서 제공하는 내장 도구가 아니라 에이전트 개발자가 직접 도구를 정의하여 AI가 사용할 수 있도록 하는 것이 외부 도구입니다. 이러한 외부 도구는 사용자마다 필요한 것들이 제각각이기 때문에, 독립된 소프트웨어로 개발됩니다. 예를 들면 개발자는 '통계청 데이터베이스에 접근할 수 있는 도구가 정의되어 있는 소프트웨어'를 개발하고, AI 서비스에서는 이 소프트웨어에 연결하는 것으로써 도구를 사용할 수 있습니다. 이러한 기술을 MCP(Model Context Protocol)라고 합니다.
ChatGPT에서 미리 만들어 놓은 외부 도구도 존재합니다. ChatGPT 커넥터라는 기능을 통해 별도로 제공되며, 내장 기능이 아니므로 사용자는 ChatGPT 앱 연동을 통해 직접 연결해야 합니다. ChatGPT에서는 공식적으로 Notion, Figma와 같은 외부 서비스와 연계할 수 있도록 지원합니다. 예를 들어 Notion에 연결한 경우 ChatGPT는 'Notion 페이지 읽기 도구'를 통해 사용자의 Notion을 읽을 수 있습니다.
에이전트
시스템 프롬프트, RAG(Retrieval-Augmented Generation), MCP(Model Context Protocol)와 같은 기능들은 ChatGPT는 물론 다른 Claude, Gemini와 같은 다른 범용 AI 서비스도 가지고 있는 기능으로, 사용자가 직접 구현할 필요는 없지만 사용법만큼은 알아둘 필요가 있습니다. 물론 지금 당장 이러한 용어를 완벽하게 이해할 필요는 없습니다. 다음 시간부터 차근차근 알아갈 것이니까요. 중요한 것은 완벽하지는 않더라도 환각을 예방하기 위한 다양한 기술들이 이미 서비스에 사용되고 있다는 점입니다.
위와 같은 기술적 요소들이 적용된 AI를 에이전트(Agent)라고 합니다. 이러한 에이전트는 ChatGPT에서 대표적으로 ChatGPT 에이전트 모드와 GPTs가 있습니다. 에이전트는 GPT와 같은 기초 모델을 사용하되, 다양한 기술적 요소들을 결합하여 환각을 예방하고, 업무에 활용하기 위한 지식을 가질 수 있습니다. 이를 바탕으로 문제 해결을 위한 계획을 자체적으로 수립하여 정보를 검색하고, 글을 쓰고, 코딩을 하고, 디자인을 하고, 이미지를 생성하는 등 다양한 역할을 수행합니다.
ChatGPT 뿐만 아니라, 업무 활용에 사용되는 생성형 AI 서비스인 Genspark, Felo와 같은 서비스에서 제공하는 것이 바로 AI 에이전트입니다. 그들은 디자인, 코딩, 파워포인트 작성 등의 특화 에이전트를 구축하여 우리에게 서비스를 제공합니다. 본질적으로 우리가 업무에 활용하는 대부분의 AI 서비스는 내부적으로 에이전트를 제공한다고 봐도 과언이 아닙니다.
MAS(Multi-agent System)
에이전트는 단독으로 운영될 때뿐만 아니라 팀으로 운영될 때 더 큰 힘을 발휘합니다. 에이전트는 MAS(Multi-agent System)라는 이름으로 에이전트끼리 서로 소통하는 자율주행과 같은 망구조, 현실세계처럼 팀 리더가 구성원 에이전트에게 일을 배분하는 구조로 운용될 수도 있습니다.
에이전트 팀은 복합한 문제를 해결하기 위해 다른 에이전트와 협력하여 처리하고, 그 결과를 최종적으로 사용자에게 보고합니다. 예를 들어 예비창업가라면 마켓 리서치, 아이디어 제안, 각 아이디어별 실행 방안, 피치덱 작성 등의 역할을 맡은 에이전트를 팀으로 구성할 수 있는 것입니다. MAS에서도 예를 들어 정보를 검색하는 에이전트가 있다면, 별도로 검증하는 에이전트를 구성하여 환각을 예방할 수 있는 수단으로 쓸 수도 있습니다.
정리하자면, AI는 원리상 환각을 일으키지 않을 수는 없지만, ChatGPT, Gemini와 같은 생성형 AI 서비스에서는 연구자들의 노력에 의해 시스템 차원에서 시스템 프롬프트, RAG(Retrieval-Augmented Generation), MCP(Model Context Protocol)와 같은 기능을 제공합니다. 더불어 사용자의 입장에서도 프롬프트 엔지니어링과 같은 다양한 기술적 방법이 동원되어 환각을 억제합니다. 우리는 AI가 너무 거짓말을 많이 한다고 이야기하기 전에 자신의 입력 프롬프트를 점검하고, AI가 충분히 답변에 활용할 수 있는 정보가 주어졌는지 검토할 필요가 있습니다.
파인튜닝을 통해 기초 모델에 추가적인 지식을 학습시켜 환각을 어느 정도 예방할 수는 있지만, 상당한 비용이 소모될 수 있습니다. 하지만 파일 업로드 등의 통해 간단한 방법으로 추가적인 배경 지식을 가지게 할 수 있고, 웹 검색이나 외부 데이터 소스와 연계를 할 수 있는 등의 환각을 예방할 수 있는 수단을 가지고 있습니다.
'비전공자를 위한 챗GPT 101'은 단순하게 챗GPT 사용법을 이야기하는 것이 아니라, 생성형 AI를 활용하기 위해 알아야 하는 기초를 대표적인 생성형 AI 서비스인 챗GPT를 사용하여 풀어냅니다. 물고기를 잡아주기보다는 물고기를 잡는 법을 알려줍니다.
챗GPT를 사용하는 활용법은 간단한 글쓰기부터 시작해서 기획, 마케팅 등 너무나도 많고, 직무마다 다른데, 이 글들은 '이메일 쓰기', '통계 분석하기 같은' 단순한 '사례'만을 이야기하지 않습니다. 생성형 AI의 '기본'을 이야기함으로써 챗GPT를 자유롭게 구사하며 실무에서 활용할 수 있도록 뼈대를 쌓습니다.