[인사이트] OpenAI가 밝힌 환각의 비밀
기업은 AI 환각 현상에 어떻게 대응해야 할까
AI 챗봇과 대화하다 보면 너무나 그럴듯하게 사실이 아닌 정보를 자신있게 말하는 경우가 있습니다. 바로 이 현상이 AI 업계의 가장 큰 골칫거리인 ‘환각(Hallucination)’입니다.
이 문제는 단순한 기술적 결함을 넘어 AI를 고객 응대에 활용하려는 기업에게는 심각한 신뢰의 위기를 초래합니다. 만약 우리 회사 챗봇이 고객에게 없는 정책을 만들어 안내하거나 잘못된 제품 정보를 알려준다면 어떻게 될까요?
최근 ChatGPT를 개발한 OpenAI가 이 문제의 근본 원인을 파헤치는 글을 발표하며 큰 주목을 받았습니다. (참고: https://openai.com/ko-KR/index/why-language-models-hallucinate/)
OpenAI의 설명에 따르면, AI의 환각은 고장이 아니라 현재의 훈련 방식이 만들어낸 당연한 결과입니다. AI는 훈련 과정에서 불확실한 질문에 “모르겠다”고 답하면 0점을 받지만, 어떻게든 추측해서 답하면 낮은 확률이라도 정답을 맞혀 점수를 얻을 수 있습니다. 이런 방식이 반복되면서 AI는 정답을 모를 때 일단 그럴듯하게 추측부터 하도록 길들여진 ‘우수한 시험 응시자’가 되어버린 것입니다.
‘그럴듯한 거짓말’이 비즈니스를 위협
기업의 공식 채널인 AI 챗봇이 만들어내는 ‘그럴듯한 거짓말’은 비즈니스의 근간을 흔들 수 있는 실존적 위험입니다.
브랜드 신뢰도와 평판의 침식: 고객에게 챗봇은 단순한 프로그램이 아니라 ‘회사의 공식적인 목소리’입니다. 챗봇이 제공한 허위 정보는 곧바로 브랜드에 대한 불신으로 이어집니다. 한번 무너진 신뢰는 회복하기 어려우며 이는 장기적인 고객 이탈의 원인이 됩니다.
직접적인 재무 손실과 운영 비효율: 챗봇이 있지도 않은 할인 혜택을 약속하거나 잘못된 환불 정책을 안내하면 기업은 그 약속을 이행해야 하는 상황에 처할 수 있습니다. 2024년 에어캐나다는 챗봇이 잘못 안내한 정책 때문에 고객에게 실제로 손해를 배상해야 했습니다. 또한, 직원들이 챗봇의 답변을 믿지 못해 일일이 확인해야 한다면, 자동화로 얻으려던 효율성은 사라지고 오히려 업무 부담만 늘어납니다. (참고: https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know)
피할 수 없는 법적 책임: 에어캐나다 판결은 중요한 선례를 남겼습니다. 법원은 “챗봇이 한 말일 뿐”이라는 변명을 받아주지 않았고 챗봇을 회사의 ‘법적 대리인’으로 간주하여 그 결과에 대한 책임을 회사에 물었습니다. 이는 기업이 챗봇을 통해 제공하는 모든 정보에 대해 법적 위혐을 안데 된다는 의미입니다.
결국 기업에 필요한 것은 인터넷의 모든 것을 아는 ‘천재’ AI가 아니라, 우리 회사에 대한 정확한 정보만을 말하는 ‘신뢰할 수 있는 전문가’ AI 입니다.
현실적인 해답, RAG 그리고 ‘gelatto’
이 치명적인 환각 문제를 해결하기 위해 등장한 기술이 바로 RAG(검색 증강 생성, Retrieval-Augmented Generation)입니다. 이름은 어렵지만 원리는 명확합니다.
AI가 자유롭게 상상해서 답하지 못하도록 기업이 사전에 승인하고 검증한 데이터베이스(지식 창고) 안에서만 정보를 ‘검색(Retrieve)하고 이 검색된 사실을 바탕으로 답변을 '생성(Generate)’하게 만드는 기술입니다.
마치 AI에게 인터넷 접속을 차단하고 오직 회사가 제공한 공식 매뉴얼과 자료만 참고해서 고객에게 답변하라고 지시하는 것과 같습니다. AI의 유창한 대화 능력은 그대로 유지하면서 답변의 내용은 기업이 100% 통제할 수 있게 됩니다.
‘젤라또(gelatto)’는 바로 이 RAG 아키텍처를 가장 정교하게 구현한 기업용 AI 챗봇 솔루션입니다. 젤라또는 일반 AI 챗봇의 장점과 전통적인 챗봇의 안정성을 결합하여 기업이 안심하고 사용할 수 있는 유일한 대안을 제시합니다.
이어지는 내용은 젤라또 블로그 원문에서 확인해보세요!