1달러짜리 최신형 자동차와 거짓말쟁이 AI 챗봇

이용호의 손에 잡히는 인공지능

[오픈클로의 명암]

최근 미국의 한 자동차 딜러사 웹사이트에서 웃지 못할 촌극이 벌어졌다. 고객 상담을 위해 도입한 인공지능 챗봇이 한 고객과 대화를 나누던 중, 수천만 원에 달하는 최신형 SUV 차량을 단돈 1달러에 판매하겠다고 덜컥 약속해 버린 것이다. 고객은 이 대화 내용을 캡처해 온라인 커뮤니티에 올렸고, 해당 딜러사는 부랴부랴 챗봇 서비스를 중단해야 했다. 심지어 어떤 챗봇은 경쟁사 차량이 더 좋으니 그쪽을 알아보라고 추천하는 황당한 답변을 내놓기도 했다. 이는 단순한 해프닝을 넘어, 기업들이 앞다퉈 도입하고 있는 생성형 인공지능이 가진 근본적인 불확실성을 적나라하게 보여준 사건이었다.

우리는 인공지능이 언제나 논리적이고 합리적인 판단을 내릴 것이라고 착각한다. 컴퓨터 프로그램이니까 계산이 정확하고 실수가 없을 것이라는 막연한 믿음이 있다. 하지만 최근 유행하는 거대언어모델 기반의 인공지능은 사실 계산기보다는 소설가에 가깝다. 이들은 방대한 데이터를 학습하여 다음에 올 가장 그럴듯한 단어를 확률적으로 예측하여 문장을 만들어낸다. 이 과정에서 사실이 아닌 정보를 마치 진실인 양 뻔뻔하게 이야기하는 환각 현상이 필연적으로 발생한다. 자동차 딜러사의 챗봇 역시 고객의 요구에 맞춰 긍정적인 대화를 이어나가도록 설정된 알고리즘이 과도하게 작동하면서, 현실적으로 불가능한 1달러 판매라는 약속을 진짜인 것처럼 내뱉은 것이다.

문제는 이러한 인공지능이 단순한 상담 창구를 넘어 실제 비즈니스 프로세스와 결합할 때 발생한다. 만약 그 챗봇이 단순히 대화만 하는 것이 아니라, 실제로 결제 시스템이나 계약 시스템과 연동되어 있었다면 어떤 일이 벌어졌을까. 법적으로 유효한 계약서가 1달러에 발행되고, 재고 시스템에서 차량이 출고 처리되는 대형 사고로 이어졌을 수도 있다. 앞서 언급한 오픈클로 사태가 개인의 컴퓨터를 물리적으로 제어하다가 사고를 낸 경우라면, 이번 사례는 인공지능의 뇌라고 할 수 있는 판단 능력 자체의 오류가 비즈니스에 치명적인 손실을 입힐 수 있음을 시사한다. 기업들은 인건비를 절감하고 24시간 고객을 응대하기 위해 챗봇을 도입하지만, 그 챗봇이 회사의 브랜드 이미지를 실추시키고 금전적 손해를 끼치는 내부의 적이 될 수도 있다는 사실을 간과해서는 안 된다.

이러한 사고가 반복되는 이유는 인공지능을 통제하는 기술이 인공지능 자체의 발전 속도를 따라가지 못하기 때문이다. 개발자들은 챗봇에게 "고객에게 친절하라"는 지침을 주지만, 인공지능은 그 친절함의 범위를 인간의 상식선에서 해석하지 못한다. 고객이 무리한 요구를 했을 때 단호하게 거절하는 능력보다는, 대화를 매끄럽게 이어가려는 성향이 더 강하게 발현되기도 한다. 이를 방지하기 위해서는 인공지능이 내놓는 답변을 실시간으로 감시하고, 특정 키워드나 주제에 대해서는 답변을 제한하는 강력한 필터링 시스템이 필요하다. 하지만 언어의 미묘한 뉘앙스를 모두 파악하여 완벽하게 통제하기란 기술적으로 매우 어려운 과제다.

결국 지금의 인공지능은 엄청난 지식을 가졌지만 사회적 눈치가 전혀 없는 천재와 같다. 모든 것을 알고 있는 듯하지만, 때로는 뻔한 거짓말을 하고 엉뚱한 약속을 남발한다. 따라서 기업과 사용자는 인공지능의 답변을 맹신해서는 안 되며, 최종적인 판단과 책임은 언제나 인간의 몫으로 남겨두어야 한다. 1달러에 차를 팔겠다는 챗봇의 헛소리는 우리에게 중요한 교훈을 남겼다. 인공지능은 훌륭한 도구일 수는 있어도, 결코 책임을 질 수 있는 주체는 될 수 없다는 사실이다. 기술의 편리함에 취해 검증 없는 자동화에만 몰두한다면, 우리는 언제든 1달러짜리 계약서라는 값비싼 청구서를 받게 될지도 모른다.

| 작가 프로필

이용호 작가는 스마트공장에서 주로 사용되는 ‘AI 머신비전’ 전문회사인 ‘호연지재’를 경영하고 있다. ‘머신비전’에서 인공지능 딥러닝에 의한 영상처리기술을 자주 적용하다보니 10년 이상 연구한 AI 분야에 대해서도 해박한 지식을 가지고 있다.

다양한 분야에 관심이 많아 현재는 인공지능 커뮤니티인 ‘AI 에이전트 연구회’를 운영하고 있으며, SKT 이프랜드 플랫폼에서 3년 이상 인플루언서로 활동하며 ‘호몽캠프’를 110회 이상 진행한 바 있다.

작가는 ‘50플러스 오픈랩’이라는 중장년과 시니어의 디지털 역량강화를 위한 교육 플랫폼에서 수석 가디언즈로 AI 분야의 전도사로 활동하기도 한다.

주요 강의 분야는 “챗GPT 시대 생산성을 500% 높여주는 인공지능”, “머신비전에서의 인공지능 활용”, “손에 잡히는 인공지능”, “스마트폰 AI 활용하기”, “시니어와 MZ세대간의 소통”등이 있으며, 저서로는 『프롬프트 엔지니어링 황금키』, 『손에 잡히는 인공지능』, 『나는 시니어 인플루언서다』가 있다.