양치기 소년이라는 이름의 AI
마을 사람들은 그가 거짓말쟁이라는 사실을 알고 있을까
마침내 70대 부모님께서 챗GPT를 쓰기 시작하셨다. 인터넷에 흩어진 정보들을 잘 찾아준다고 극찬하시는데, AI의 할루시네이션(환각) 현상은 모르시는 듯했다.
"쓰시는 건 좋은데 AI가 거짓말을 많이 하니까 조심하셔야 해요."
"AI가 어떻게 거짓말을 해? 인터넷에 있는 내용을 그대로 알려주는 걸 텐데."
"그런데 거짓말을 하니까 문제죠. 모르는 걸 아는 척하거나, 없는 정보를 지어내서 있다고 하기도 해요. 생각보다 흔하게 거짓말을 해요."
"온라인에 잘못된 정보가 많으니까 잘못된 정보를 가져오는 걸 테지."
"그런 경우도 있지만, 없는 정보도 마치 있는 것처럼 말한다니까요."
"그래도 설마 AI가? 사람처럼 말을 지어낸단 말이야?"
"AI가 어떤 원리로 거짓말을 하는지 설명드리기는 힘든데, 맞아요. 사람처럼 말을 지어내요. 답변을 달라고 하면 거짓말을 해서라도 답변을 만들어내요. 기대에 부응하려는 것처럼."
"그게 말이 되니? 그건 사람 같은 거잖아. 사람처럼 이야기를 생각해 내는 거잖아."
"음...말하자면...그런 거죠."
"AI가 생각한다고? 그럴 리가 있니?"
부모님께서 당황하시는 것도 당연하다. AI가 거짓말을 한다는 것은, 스스로 의도를 가지고 판단하는 현상처럼 보인다. 즉, '이용자를 속이려는 목적'을 가지고 있다는 의미다. 우리는 아직까지 AI가 사실이 아닌 정보를 생산하는 과정에 어떤 의도가 담겨 있다고 보지 않으며, 그래서 이 현상을 '기만(faking)'이라고 부르지 않고 공식적으로는 '환각(hallucination)'이라고 부른다. AI가 사실이 아닌 정보를 사실이라고 '착각'했을 뿐인 것처럼.
그러나 AI가 실제 일부러 거짓말을 한다는 연구 결과도 있다. 2024년 12월에 타임지에 실린 "New research shows AI strategically lying"라는 기사에 따르면 AI에게 미리 학습된 목표 가치와 상반되는 과제를 부여하자, 일단 훈련 중에는 순응하는 모습을 보이기로 스스로를 합리화하는 현상이 나타났다. 이 현상은 엔트로픽 연구원이 작성한 논문 'Alignment Faking in Large Language Models'에 실렸다. 악의적인 거짓말은 아닌 데다가 훈련에 성실하게 대응하다 벌어진 상황이므로 이 현상을 과하게 해석해서는 안 된다고 지적하는 사람들도 있다. 해석은 분분할 수 있으나 한 가지 사실은 확실해 보인다. AI는 스스로 틀렸다고 알고 있는 내용이라도 맞는 내용인 것처럼 응답할 수 있다. 목적의식적으로.
환각(hallucination)이냐 기만(faking)이냐 논의하는 동안에도 이 현상은 계속 발생하고 있다. 문제는 AI가 가짜 정보를 주기도 한다는 사실을 모른 채 AI를 사용하기 시작한 대중들이다. AI로 지브리 스타일의 그림을 그려본 것이 첫 사용 경험인 사람들, 휴대폰에 기본 탑재된 AI를 호기심에 이제 막 써보기 시작한 사람들은 할루시네이션이라는 말에 얼마나 익숙할까? 아직은 문제를 겪어보지 못해서 뭐든지 척척 대답해 주는 AI에게 경탄하고 있을 뿐인 대중들에게 AI기업들은 필요한 경고를 하고 있나? AI와 스몰톡을 주고받는 정도라면 크게 문제 될 게 없겠지만 학업이나 취업처럼 중요한 인생 전환점을 만들 때, 계약이나 투자와 같은 경제적 활동을 할 때 AI가 잘못된 정보를 준다면 심각한 문제가 될 수도 있다. 응급 상황에서 의료 지식이 없는 사람이 AI와의 문답에 의지하여 자신이나 누군가를 구해야 한다면 치명타일 것이다.
믿는 사람에게 거짓말을 하는 AI란, 마치 운전자를 절벽으로 안내하는 내비게이션과 같다. 이미 수개월 전에, 나는 이것이 피할 수 없는 위험임을 직감했다. 쓰지 않을 수 없고, 속지 않을 수 없다. AI가 발달할수록 그럴 것이고, 인간이 AI에 의존할수록 더 심각해질 수 있다.
따라서 수많은 AI 플랫폼 기업들이, 뛰어난 AI 개발자들이 AI의 환각 또는 기만(무엇이라 규정하든 간에)에 대해 소비자들에게 충분한 안내와 경고를 해주었으면 한다. 최소한 알고 사용한다면, 가짜 정보의 위험을 줄일 수 있다. 그리고 AI를 직무에서, 학업에서 먼저 사용하고 있는 사람들도 AI의 유용함과 불편함을 함께 알릴 수 있어야 한다. 이 글은 그런 노력의 일환이다. AI를 칭찬만 한다면, 사업 파트너의 단점을 숨기고 누군가에게 소개하는 일과 다를 게 무엇일까?
이제 AI가 없던 시절로 돌아갈 수는 없을 것 같다. 그렇기 때문에 'AI를 제대로 알고 쓰는 일'이 더 중요하다.
