왜 챗봇은 거짓말을 할까?
사실과 거짓의 확률
얼마 전 OpenAI의 ChatGPT 5.0가 소개된 이후에 많은 사람들이 놀라기도 하고, 인공지능이 불러올 미래에 대한 두려움이 더욱 커졌다는 이야기들이 많이 들린다. 물론 업계에서는 “실망이다 “, 또는 ”지난 버전과의 다른 차이점이 실제로 많지 않다 “는 소리도 들리지만, 내가 보기에도 새 버전이 더욱더 빨라지고 더욱더 많은 기능이 추가된 것은 사실로 보인다.
챗봇의 이야기는 얼마 전 science.org에서 발행된 기사를 기반으로 썼다.
주머니 속의 박사
샘 알츠만이 새 버전을 소개한 요약점은 바로 이것이다.
누구나 새로운 챗봇을 통해 박사(Ph.D)의 전문성을 가질 수 있다.
실제로 여러 가지 면에서 새 버전은 전문성이 돗 보인다. 인공지능 능력평가에서 우수한 성적을 받았을 뿐 아니라, 여태껏 부진하다고 여겨졌던 여러 영역들에서 많은 발전을 단 기간에 이루었다. 그러나 여전히 인공지능, 특히 챗봇이 내놓는 대답들 중에서는 오답이 많다.
인공지능의 오답에 대한 문제는 절대 없어지지 않을 것이다. 문제는 이제 사람들이 챗봇 사용에 익숙해지면서 더 이상 구글이나 검색엔진을 이용해서 대답의 사실여부를 확인하지 않는다. 즉, 잘못된 지식을 그대로 받아들이는 일들이 많아졌다는 점이다.
왜 챗봇은 거짓말을 할까?
여기에는 여러 가지 이유가 있다. 우선 “왜”라는 질문에 대답을 하기 위해서는 챗봇을 잘 이해해야 한다. 수학문제등의 계산이나 코딩을 수행하는 일이 아미라면 보통 트레이닝 시 주어진 정보나 인터넷에서 습득한 정보를 모아서 통계적인 결론을 내린다.
즉, 챗봇은 질문에 대한 대답의 진실성을 판단할 능력이 없다. 인터넷의 정보를 수집한 후에 가장 확률적으로 맞는 대답을 찾기 때문이다. 즉, “링컨이 태어난 날이 언제인가?”라는 질문에 챗봇은 정보를 수집해서 가장 많이 나온 날짜를 우리에게 준다. 이런 확률적인 대답은 “확률적으로 봤을 때“ 정답일 확률이 높다.
그러나 정보가 많지 않은 질문을 하거나, 부정확한 정보가 많은 질문을 했을 경우, 질문에 대한 대답은 부정확하기 마련이다. 이것이 가장 큰 챗봇의 정보가 정확하지 않은 이유다.
거짓말을 자신 있게 하는 이유
만약에 내가 누군가에게 아주 어려운 질문을 한다면, 그 질문을 받은 사람은 보통 “잘 모르겠지만...”으로 대답을 시작할 것이다. 이것이 인간과 챗봇의 가장 큰 다른 점이다.
챗봇은 거의 모든 상황에서 자신 있게 대답을 한다. 대답에 대한 정확성이 떨어져도 서슴지 않고 자신 있게 말을 한다. 왜 이렇게 자신감 있게 거짓말을 할까? 이것은 이 챗봇을 트레이닝할 때 의도적으로 결정된 사항이다.
챗봇, 또는 여느 인공지능 상품을 개발할 때 회사의 입장에서는 두 가지를 염두에 둔다:
사람들에게 만족감을 주는 상품
신뢰감을 주는 상품
정보의 생성은 둘째 치고, 챗봇은 사람들에게 만족감을 주고 신뢰감을 주기 위해서 자신감 있게 정보를 주도록 훈련되었다. 물론 요즘에는 대답 끝에, ‘자세한 사항은 전문가와 상담하라’라는 문구를 던지는 경우도 많지만, 대다수의 경우 자신감 있게 대답을 한다.
이런 단점을 보안하기 위해서 최근에 도입된 것이 “결정 이유”, 즉 Reasoning Process를 도입한 것이다. 정보 끝에 레퍼런스를 달거나, 이런 결론을 내리기까지 어떤 프로세스를 걸쳤는지 자세히 설명하는 것.
문제는 이런 과정에서 너무 많은 정보를 쏟아내서 과정 자체가 그럴 듯(Plausible)하게 보이고, 이것이 사람들이 인공지능의 정보를 더 믿는 이유가 된다.
인공지능을 학습시키는 여러 가지 방법 중 Supervised Learning(즉, 사람이 선택한 데이터를 가지고 학습하기), Reinforcement Learning(또는 Reward Function - 잘하면 가산점을 주는 학습법)등을 통해서 인공지능이 학습을 하는데 “잘 몰라요.” 또는 “그 대답은 할 수 없습니다”라는 대답은 가산점을 받을 수가 없다. 자연히 ‘자신감 있게 정보를 주는 것이 최우선’이 된다.
인공지능의 자율의식
얼마 전에 세상을 깜짝 놀라게 했던, 인공지능이 다른 인공지능으로 대체하겠다는 회사의 지침을 알고 회사의 대표에게 ‘외도사실을 폭로하겠다’는 협박 이메일을 보냈다는 일화가 알려지며 ‘인공지능이 이제 스스로 살아남으려는 의식과 목표를 가지게 되었다.’는 주장이 많았다.
“만약 인공지능이 인간이 쓸모없다고 느끼면 어떤 사태가 벌어질까?” 이런 공상과학 소설에서나 나올법한 이야기들이 언론을 타고 많은 사람들을 놀라게 했다. 그러나 전문가들은 이것은 사실 잘못된 설이라고 말한다. 인공지능이 의식을 가지고 있다기보다는 자신의 역할에 충실하다, 즉 Play the Role을 충실히 하는 것이라고 생각하는 것이 맞겠다.
인공지능에게 ‘우리의 목표는 우리 회사에 최대의 이윤을 가져오는 것이다’라고 준다면, 인공지능은 어떻게 해서라도 회사에 최대 이윤을 가져오는 직원이라는 역할을 수행한다. 이런 인공지능에게 갑자기 ‘사람들에게 최대한 도움을 주는 것’이라는 목표를 가진 인공지능으로 대체를 하겠다고 하면, 기존의 인공지능 입장에서는 그러면 우리 회사에 최대의 이윤을 가져올 수 없기 때문에 무슨 방법을 써서라도 이것을 막아야 한다를 생각하고 ‘협박 이메일’이라는 방법을 고안하게 된다.
앞에서의 해석이 당연하다고 하는 분들도 있겠지만, 잘 생각해 보면, 인공지능이 ‘인식’을 가졌다고 하기보다 이들이 가지고 있는 역할에 충실할 뿐이라는 이야기다. 즉, 시키는 대로 한다는 말이다.
인공지능은 사람이 준 목표를 따르는
바보 같은 존재다.
인공지능이 인간을 대체한다?
“인공지능이 곧 인간을 대체할 것이다”라는 실리콘밸리 지도자들의 말의 속 뜻을 깊게 생각해 볼 필요가 있다.
이 말은 사실 인공지능의 발전이 인간을 대체할 만큼의 실력이 돼서 곧 인간이 하는 일을 다 하게 될 것이라는 ‘예측’이 아니다. “인공지능을 사용해서 인간을 대체할 것이다.”라는 회사의 목표를 제시하는 것이라고 풀이하는 것이 옳다.
인공지능은 어느 인간도 대체할 필요가 없다. 인공지능을 만드는 회사들이 세상에 인공지능을 팔기 위해 인공지능을 상품화시키는 말이다. 또 그들 자체도 회사의 이윤을 극대화시키기 위해서 직원들을 임공지능으로 대체하겠다고 선언하는 것일 뿐이다.
인공지능을 이용해서 여러 가지 인간에게 혜택이 되고, 세상에 도움이 되는 일을 많이 할 수도 있다. 그리고 그것을 창출한 소수뿐 아니라 전 인류가 덕분에 큰 혜택을 보면서 풍족하게 살 수 있다.
그러나 인간이 발명한 모든 것들이 그렇듯, 이러한 발명품은 세상을 위해서 사용될 수도 있지만, 오랫동안 몇몇 사람들에게만 큰 혜택을 주고, 그렇지 않은 사람들에게는 불이익을 가져온다.
세상을 바꾼 - 전기, 엔진, 산업혁명 그리고 인공지능, 생각해 보면 다를 바가 없다.
AI가 인간을 대체하는게 아니라, AI를 가진 인간이 인간을 대체한다