초기 자연어처리와 규칙 기반 챗봇 ELIZA
인류 최초의 챗봇은 언제 만들어졌을까요? 놀랍게도 최초의 챗봇은 무려 50년도 전에 만들어졌습니다. 1966년에 만들어진 ELIZA는 컴퓨터 공학자 요제프 바이첸바움(Joseph Weizenbaum)이 정신과 상담용으로 만든 최초의 챗봇입니다. ELIZA는 패턴매칭(pattern matching)과 치환(substitution)이라는 매우 단순한 방법으로 구현되었습니다. ELIZA는 내담자의 말을 듣고 일단 그에 호응한 뒤, 그에 따라 입력된 정보에 맞는 키워드 속에서 적당한 질문을 찾아내어 던지는 방식으로 대화를 이어갑니다. ELIZA는 사용자가 입력한 내용을 인칭을 바꾸어 발화하는 방식으로(예를 들어 I 와 you를 맞바꾸어) 사용자의 말을 흉내내는 방식이죠.
흥미로운 사실은 ELIZA가 처음 등장했을 때만 해도 수 년안에 인간과 구분할 수 없는 인공지능이 등장할 것이라고 우려하는 사람들이 많았다는 것입니다. ELIZA는 매우 간단한 규칙 기반 알고리즘으로 구현되었습니다. 초거대언어모델(LLM)에 기반한 챗GPT와는 다르게 문장을 이해하고 추론하는 능력은 전혀 갖추지 못했으며, 사전에 구축된 규칙에 따라 매우 단순한 원리로 작동하는 유사인공지능입니다. 그런데도 환자들은 이 챗봇을 실제 상담사로 착각하고 속마음을 털어놓는 경우가 많았다고 합니다. ELIZA가 환자의 말에 일단 호응해주고 환자 개개인의 상황에 맞는 적절한 질문을 던지는 방식으로 사람들을 교묘하게 속이는 데에 성공했기 때문입니다.
ELIZA는 인간이 컴퓨터의 행동에 지나치게 의미를 부여하고 컴퓨터를 무의식적으로 의인화하는 현상을 가리키는 ‘일라이자 효과(ELIZA effect)’라는 용어까지 등장시켰습니다. 환자들은 자신의 말을 들어주고 적절히 호흥해주며 적절히 공감하는 시늉만 하는 ELIZA에게 빠져들었습니다. 사람들의 호의적인 반응 덕분일까요? 당시 의사가 부족했던 정신병동에 ELIZA를 배치하자고 주장하는 의사들도 많았다고 합니다.
ELIZA를 만들어낸 바이첸바움 교수는 단순한 알고리즘을 지닌 인공지능에게 사람들이 진지한 애착을 갖는 것을 보고 큰 충격을 받아 ELIZA 프로젝트를 중단하고 인공지능의 본질에 대한 성찰을 시작했다고 합니다. 이 때의 일 때문인지 그는 1976년 자신이 낸 저서 <컴퓨터의 힘과 인간의 이성>에서 '인공지능에게 윤리적인 판단을 맡겨서는 안된다'는 요지의 주장을 펼치면서 인공지능 옹호론자에서 비판론자로의 일대 전환을 하게 됩니다.
최신 딥러닝 기술로 추론능력을 갖춘 똑똑한 챗GPT가 등장하기 이전부터 사람들은 이미 기계에 인격을 부여하고 그 속에서 의미를 찾으려고 해왔습니다. ELIZA의 사례는 인공지능의 본질에 대해 중요한 사실을 시사합니다. 우리 인간이 정말 우려해야 할 것은 인공지능이 얼마나 인간과 비슷하게 생각하거나 높은 지능을 가졌느냐가 아니라 인공지능과 상호작용하는 우리 인간이 인공지능을 어떻게 받아들이는지 일지도 모릅니다.
ELIZA를 구현해낸 초기의 규칙기반 자연어처리 기술을 소개하겠습니다. 규칙기반(rule-based) 자연어처리란 인간이 사전에 정의한 문법 규칙과 단어 사전 등에 따라 컴퓨터가 자연어처리 태스크를 수행하는 기법을 말합니다. 규칙기반 자연어처리는 인공지능 연구가 시작된 초기 단계부터 사용되어왔던 가장 원시적인 형태의 자연어처리로, 1장에서 소개했던 형태소 분석, 품사 태깅, 구문구조 분석, 단어 중의성 해소, 개체명 인식 등 다양한 작업을 거쳐 문장구조와 의미를 분석합니다. 규칙 기반 자연어처는 사람의 개입이 매우 많이 필요하므로 노동집약적인 방식이라고 할 수 있습니다.
예외가 항상 존재하는 자연어의 특징상 규칙기반 자연어처리는 모든 예외 상황을 담을 수 없다는 한계가 있습니다. 예를 들어 “그는 오늘 동료들과 점심으로 피자를 먹었다.” “오늘 점심은 피자였는데, 동료들과 함께 먹었다.” “오늘 점심에 동료들과 피자를 먹으러 갔다.”라는 모두 같은 의미이지만, 규칙기반 자연어처리를 활용한 챗봇에서는 모두 다르게 인식됩니다. 제대로 작동하는 챗봇을 만드려면 세가지 문장이 모두 같은 의미라는 사실을 사람이 일일히 지정해 주어야 하는 것이죠. 이처럼 규칙기반 자연어처리는 사람의 개입이 절대적으로 필요하고 표현할 수 있는 문장의 종류에 한계가 있다는 치명적인 한계점을 가지고 있습니다.