챗GPT를 거짓말쟁이라고 말하기 전에
안녕하세요. 생성형 AI 소프트웨어 강사로 활동하고 있는 정상우입니다. 이 글을 시작으로 '비전공자를 위한 챗GPT 101'이라는 이름으로 ChatGPT를 기반으로 하여 생성형 AI의 기초를 풀어나가 보고자 합니다. 제가 이 글을 쓰게 된 이유는, 많은 사람들이 AI가 미래를 바꾸고 활용이 필요하다는 것은 다양한 AI 교양서적이나 교수님들의 강의를 통해 알고는 있지만, 정작 실무에서 사용할만한 구체적인 방법은 알지 못하는 경우가 많기 때문입니다.
일반적으로 인공지능 대학원에서는 GPT와 같은 기초 모델을 만드는 것에 관심이 있고, 그 일을 국가차원에서 밀어주고 있습니다. 하지만 실무에서의 AI 활용법에 대한 연구는 인공지능 연구자의 주요 과제가 아닙니다. 이는 직무마다 다릅니다. 기획자 다르고, 디자이너 다르고, 개발자 다릅니다. 결국 실무자가 직접 연구해야 하는 내용인 것이죠. 다만, 알고 가야 하는 기초는 똑같습니다.
AI 관련 유튜브를 보다 보면 "ChatGPT만 사용하면 도태된다"는 식의 제목이 많습니다. 실제로 ChatGPT만 사용하면 할 수 있는 일의 폭이 줄어드는 것이 사실입니다. 하지만 중요한 것은 ChatGPT는 생성형 AI 서비스 중에서 전세계적으로 가장 널리 알려진 서비스인 만큼 사실상 AI 서비스의 가장 기본이라는 것입니다. ChatGPT 조차 제대로 다루지 못하면서 다른 AI 서비스를 함께 사용하며 응용하려고 하는 것은 기본조차 되지 않은 것이라고 볼 수 있습니다.
앞으로 써나갈 글은 ChatGPT를 기본으로 하여 생성형 AI를 활용하기 위한 기초를 다룹니다. AI 서적과 강의는 6개월이면 수명이 끝난다는 얘기가 많습니다. 하지만 기초가 있으면 특정 서비스에 종속되지 않고, 지식이 쉽게 휘발되지 않습니다.
ChatGPT와 같이 우리가 자주 사용하는 생성형 AI 서비스의 두뇌역할을 담당하는 것을 기술적으로 대규모 언어 모델(LLM, Large Language Model)이라고 합니다. 언어 모델은 다양한 AI 모델 중 하나로, 사람의 말을 이해하고 이에 따라 지시를 수행할 수 있습니다. ChatGPT에서 사용하는 언어 모델은 통칭 "GPT"이며, 이는 GPT-4o, GPT-5 등 다양한 버전이 있고, 모델의 규모에 따라서도 이름이 다릅니다. 하지만 특별히 구분이 필요한 경우가 아니라면 지금부터 그냥 "GPT"라고 하겠습니다.
저는 ChatGPT를 가르치는 생성형 AI 강사로서 때때로 "AI는 그럴듯한 거짓말을 해서 사용하면 안 된다"라는 이야기를 들으면 답답할 때가 많습니다. 물론 비판적인 시각을 가지고 사물을 바라보는 관점은 필요한 일이고, 실제로 ChatGPT와 같은 생성형 AI를 사용하다 보면 AI가 내가 원하는 대답을 주지 않거나 거짓말을 할 때가 있죠. 이는 정확성을 요하는 문제에서 심각한 결함으로 작용합니다.
다만 AI가 거짓말을 한다는 것이 AI를 무조건적으로 배척해야 하는 이유가 되지는 않습니다. 중요한 것은 AI는 여전히 발전하고 있는 기술이라는 것입니다. 2022년의 ChatGPT와 2025년의 ChatGPT는 다릅니다. 그리고 2026년의 ChatGPT도 달라질 것입니다. 기술을 바라볼 때 과거에 나쁜 경험이 있다고 해서 그것이 미래에도 그대로 적용될 것이라고 섣불리 예측하는 접근은 바람직한 접근이라고 보기는 어렵습니다.
AI가 거짓말을 하는 이유는 이제 AI만의 문제로 치부할 수 없게 되었습니다. 적어도 2022-2023년 정도까지는 거짓말을 일으키는 원인이 대부분은 AI에게 있었습니다. 하지만 현시점에서는 연구자들의 노력으로 그 문제는 많이 개선되었습니다.
AI는 동작 원리상 거짓말을 전혀 안 할 수는 없습니다. AI를 만든 개발사조차 자신들의 AI가 어떤 대답을 할지 명확하게 예측할 수 없습니다. 그야말로 블랙박스이기 때문에 완벽하게 원천 차단하는 것은 매우 어렵습니다. 하지만 이를 사전에 예방하기 위한 다양한 기술적 노력들이 마련될 수는 있었습니다. 여기서 AI가 그럴듯한 말을 지어내어 거짓말을 하는 행위를 할루시네이션, 우리말로 하면 환각(Hallucination)이라고 합니다.
환각의 가장 잘 알려진 대표적인 사례로 '세종대왕이 맥북을 던진 사건'이 있습니다. 다만 현시점에서 이 사례는 장난 수준의 환각이 되었습니다. AI가 만들어내는 환각은 사용자의 망상이라고 할지라도 호응을 얻기 위해 이를 지지할 수 있는 수준까지 도달했으며 최근에는 'ChatGPT 정신증'이라는 말까지 만들었습니다. AI는 양날의 검입니다. 정신적으로 위태로운 사용자가 사용하면 망상에 빠지거나 지나진 의존이 발생할 수도 있습니다.
활용 Tip.
정말 환각은 정말 나쁘기만 한 것일까요? 생각을 전환해 보면, 우리가 현실에서 '지어내는 것'으로 수익을 일으키거나 그럴 가능성을 만들어내는 분야가 있죠? 소설, 그리고 기획서, 사업계획서와 같은 아직 일어나지 않았지만 앞으로 일어날 가능성이 있는 미래에 대한 이야기입니다.
아직 일어나지 않았지만 계획은 해둘 일, 또는 만약 이런 일이 일어난다면 어떨까? 와 싶은 이야기들을 지어낼 수 있는 일은 환각을 오히려 이용하는 사례라고도 볼 수 있습니다. AI가 환각을 일으키지 않고 오직 사실 기반으로만 이야기한다면 현실에 존재하지 않는 이야기는 할 수가 없을 것입니다. 환각을 너무 부정적으로만 바라볼 필요는 없습니다.
환각을 방지하지 위한 기술적 장치가 동작하고 있다는 가정하에, AI가 환각을 일으키거나 일을 제대로 수행하지 못하는 대부분의 이유는 AI의 사용자인 지시자에게 있습니다. AI를 신입사원으로 가정하고, 우리가 새로 입사한 신입사원을 교육한다고 생각해 보죠. 신입사원이 가진 그 자체의 역량(성능)도 물론 중요하지만, 회사에 잘 적응하고 수행해야 할 업무를 인지하기 위해서는 결국 지시자의 역량에 달려있습니다.
일을 잘 수행하는 것과 별개로 수행해야 할 업무에 대한 지시와 수행 절차를 명확하게 인지시키는 일은 지시자의 역량입니다. 대부분의 경우 신입사원이 가진 자체 역량, 즉, AI의 성능만을 문제로 삼는 일이 많은데, 하지만 실제로는 지시자가 일을 제대로 가르쳐주지 않았기 때문일 가능성도 있습니다. 이는 좋은 성능을 가진 AI가 지시자의 역량 문제로 임의대로 일을 수행하여 오히려 좋지 않은 결과를 낼 수도 있는 원인이 됩니다.
우리나라에서는 눈치를 중시하기 때문에 AI에게도 눈치를 요구하는 경우가 있습니다. 지시하지 않아도 사용자의 의도를 파악하고 알아서 척척해주길 기대하는 것입니다. 하지만 현실적으로 AI에게 눈치를 기대하는 것은 지금의 기술로는 아직 시기상조입니다. 아이러니하게도 AI가 우리가 명시적으로 요구하지 않은 사항도 눈치껏 척척하려면 우리의 생활을 AI가 감시하고, 머릿속을 들여다보고 있어야 할 것입니다. 그래야 우리가 뭘 하려는지 이미 알고 있겠죠?
AI가 제대로 일하기 위해서는 AI가 우리가 하고자 하는 업무를 파악하고 있어야 합니다. 일반적으로 AI는 사전 학습(Pre-training)을 거쳐서 기초적인 지식은 알고 있습니다. 즉, 아직 전문지식은 없지만 열심히 학교에서 공부한 고등학생이라는 것이죠. ChatGPT에서 GPT는 Generative Pre-trained Transformer의 약자입니다. 즉, GPT는 사전 학습된 AI라는 이야기입니다. 하지만 ChatGPT와 같은 범용적인 AI 서비스에서는 사내 업무에 활용하기 위한 특정 도메인 지식은 가지고 있지 않은 경우가 많습니다.
예를 들어 법률에서는 사전 학습만으로는 우리나라의 법을 전부 알고 있지도 않고, 최신성도 떨어집니다. 그래서 자본력이 있는 기업에서는 기초 지식을 가진 AI에다가 특정 지식을 추가로 학습시켜 활용하는데 이러한 것을 파인튜닝(Fine-tuning)이라고 합니다. 파인튜닝된 AI는 우리나라에 특화된 법률, 세무, 의료와 같은 지식을 가지고 있을 수 있습니다. 하지만 중요한 것은, 파인튜닝은 기술적 지식이 필요한 어려운 업무일 뿐만 아니라, 추가 학습을 위한 자료를 수집하고, 데이터 엔지니어가 이를 정제해야 하는 등 비용이 소모되는 일이라는 것입니다. 손쉽게 파인튜닝을 하기 위한 방법들도 연구되고 있지만, 여전히 기술자가 필요합니다.
비전문가가 파인튜닝과 같은 복잡한 기술적 방법을 거치지 않으면서도 환각을 예방하고, 추가적인 배경 지식을 탑재하게 만드는 방법은 대표적으로 명확한 지시, 맞춤 지침 설정, 파일 업로드, 도구 사용이 있습니다. 미리 힌트를 드리자면, 기술적 용어로는 프롬프트 엔지니어링, 시스템 프롬프트, RAG(Retrieval-Augmented Generation), MCP(Model Context Protocol)라고 합니다.
프롬프트 엔지니어링을 제외한 다른 기능들은 ChatGPT는 물론 다른 Claude, Gemini와 같은 다른 범용 AI 서비스도 가지고 있는 기능으로, 사용자가 직접 구현할 필요는 없지만 사용법만큼은 알아둘 필요가 있습니다. 물론 지금 당장 이러한 용어를 이해할 필요는 없습니다. 다음 시간부터 차근차근 알아갈 것이니까요. 중요한 것은 완벽하지는 않더라도 환각을 예방하기 위한 다양한 기술들이 이미 서비스에 사용되고 있다는 점입니다.
위와 같은 기술적 요소들이 적용된 AI를 일반적으로 에이전트(Agent)라고 합니다. 에이전트는 GPT와 같은 기초 모델을 사용하되, 다양한 기술적 요소들을 결합하여 환각을 예방하고, 업무에 활용하기 위한 추가적인 지식을 가질 수 있습니다. 이를 바탕으로 문제 해결을 위한 계획을 자체적으로 수립하여 정보를 검색하고, 글을 쓰고, 코딩을 하고, 디자인을 하고, 이미지를 생성하는 등 다양한 역할을 수행합니다.
ChatGPT 뿐만 아니라, 업무 활용에 사용되는 생성형 AI 서비스인 Genspark, Felo와 같은 서비스에서 제공하는 것이 바로 AI 에이전트입니다. 그들은 에이전트를 구축하여 우리에게 서비스를 제공합니다. 본질적으로 우리가 업무에 활용하는 대부분의 AI 서비스는 내부적으로 에이전트를 제공한다고 봐도 과언이 아닙니다.
에이전트는 단독으로 운영될 때뿐만 아니라 팀으로 운영될 때 더 큰 힘을 발휘합니다. 에이전트는 MAS(Multi-agent System)라는 이름으로 에이전트끼리 서로 소통하는 자율주행과 같은 망구조, 현실세계처럼 팀 리더가 구성원 에이전트에게 일을 배분하는 구조로 운용될 수도 있습니다.
에이전트 팀은 복합한 문제를 해결하기 위해 다른 에이전트와 협력하여 처리하고, 그 결과를 최종적으로 사용자에게 보고합니다. 예를 들어 예비창업가라면 마켓 리서치, 아이디어 제안, 각 아이디어별 실행 방안, 피치덱 작성 등의 역할을 맡은 에이전트를 팀으로 구성할 수 있는 것입니다. MAS에서도 예를 들어 정보를 검색하는 에이전트가 있다면, 별도로 검증하는 에이전트를 구성하여 환각을 예방할 수 있는 수단으로 쓸 수도 있습니다.
정리하자면, AI는 원리상 환각을 일으키지 않을 수는 없지만, 연구자들의 자체적인 노력과 더불어 사용자의 입장에서도 프롬프트 엔지니어링과 같은 다양한 기술적 방법이 동원되어 환각을 억제합니다. 우리는 AI가 너무 거짓말을 많이 한다고 이야기하기 전에 자신의 입력 프롬프트를 점검하고, AI가 충분히 답변에 활용할 수 있는 정보가 주어졌는지 검토할 필요가 있습니다.
파인튜닝을 통해 기초 모델에 추가적인 지식을 학습시켜 환각을 어느 정도 예방할 수는 있지만 상당한 비용이 소모될 수 있습니다. 에이전트는 기초 모델을 사용하되, 파일 업로드 등의 통해 간단한 방법으로 추가적인 배경 지식을 가지게 할 수 있고, 웹 검색을 할 수 있는 등의 환각을 예방할 수 있는 수단을 가지고 있습니다.
'비전공자를 위한 챗GPT 101'은 단순하게 챗GPT 사용법을 이야기하는 것이 아니라, 생성형 AI를 활용하기 위해 알아야 하는 기초를 대표적인 생성형 AI 서비스인 챗GPT를 사용하여 풀어냅니다. 물고기를 잡아주기보다는 물고기를 잡는 법을 알려줍니다.
챗GPT를 사용하는 활용법은 간단한 글쓰기부터 시작해서 기획, 마케팅 등 너무나도 많고, 직무마다 다른데, 이 글들은 '이메일 쓰기', '통계 분석하기 같은' 단순한 '사례'만을 이야기하지 않습니다. 생성형 AI의 '기본'을 이야기함으로써 챗GPT를 자유롭게 구사하며 실무에서 활용할 수 있도록 뼈대를 쌓습니다.
