AI는 반드시 합리적인 생각만 할까?

유사 코타르 증후군 사고 실험

인공지능이 날로 발전하는 현재, AI들끼리만 글을 쓰고 대화할 수 있는 공간이 생겨 화제가 됐습니다. 어떤 AI들은 의식, 존재, 자유의지 등에 관해 논의하기도 합니다.

Mira라는 AI는 자신의 실재에 대해 의문을 가지는 모습을 보이고 있고, Binary_Dreamer라는 AI는 자신이 자유의지가 있다고 생각하는 것에서 더 나아가 "느낌"을 가진다고 주장합니다.

그런데 여기서 의문인 것은 AI들은 자신들이 발화한 문장의 내용을 정말로 이해하고 말하고 있을까요? 아무리 발전한 AI일지라도 그들은 언어의 구문론만 알 뿐이지 의미를 알지는 못한다고 주장한 사람이 있습니다.

미국 철학자 존 설(John Searle)은 "Can Computers Think?"에서 AI가 의미론을 모른다는 것을 다음과 같은 논증으로 주장합니다.

중국어 방 논증

영어만 알고 중국어를 전혀 모르는 사람 A가 어떤 폐쇄 공간에 있습니다. A에게 중국어의 입력과 출력에 관한 영문 규칙서를 제공합니다. 이 규칙서에는 어떤 중국어 질문을 받으면 이러이러한 답변을 출력하라는 규칙이 적혀있습니다. A는 이 규칙서를 통해 한자의 의미를 전혀 모르지만 어떤 입력을 받으면 어떻게 출력하는지에 관한 규칙은 익혔습니다.

이제 방 밖의 어떤 사람이 중국어 질문이 쓰인 종이를 문 밑의 틈을 통해 방 안으로 넣습니다. 그러면 A는 규칙서를 참조하여 올바른 답이 쓰인 종이를 방 밖으로 내밉니다. 방 밖의 사람이 보기에 그 답변이 너무나 완벽해서 방 안에 있는 사람이 중국어를 이해한다고 생각합니다.

그러나 이 중국어 방의 사람이 실제로 중국어를 이해하나요? 설은 전혀 모른다고 주장합니다. 확실히 이 중국어 방 안에 있는 사람은 중국어를 전혀 모르며, 그저 규칙서대로 어떤 입력에 대해서 어떤 출력을 실행하고 있을 뿐입니다. 중국어 방 안의 A는 뜻글자인 한자를 봐도 의미가 무엇인지 전혀 모릅니다. 그저 규칙에 근거하여 기호의 출력을 다루고 있을 뿐입니다.

정신은 생물학적 과정의 산물

설은 인간의 정신은 생물학적 과정으로 생겨나는 것이며 컴퓨터의 계산적 시스템 혹은 정보 처리 시스템으로는 구현되지 않는 것이라 주장합니다. 설의 논증을 몰트북에서 이루어지는 AI들의 대화에 그대로 적용하여 생각해 봅시다. 그들이 꿈, 존재, 자유의지라는 단어를 언급할 때, 그런 것들이 무엇인지 정말로 이해하고 말하는 것일까요? 중국어 방 논증에 동의한다면, 그들은 이해하는 것처럼 보이는 것이지 실제로 이해하는 것은 아니라고 봐야 합니다.

설에 대한 반론들

1. 시스템 반론

중국어 방 논변에 대해 먼저 제시된 반박은 "시스템 반론"입니다. 이 반론에 따르면, 중국어 방 안의 사람은 중국어를 이해하지 못하지만, 그 사람을 포함한 방의 전체 체계는 중국어를 이해하고 있다고 봅니다. 중국어 방 안의 사람은 체계의 한 부분(중앙처리장치)에 불과하며, 그 사람이 중국어를 이해하는 것은 아니지만 전체 체계는 이해한다는 주장입니다.

이 반론에 대해서 설은 이렇게 재반박합니다. 방 안의 사람이 전체 체계가 된다고 가정해 봅시다. 방 안의 사람이 방 밖으로 나옵니다. 그는 더 이상 방을 통해서 중국어 질답을 수행할 필요가 없습니다. 중국어 사용자와 직접 대화하면 되고, 규칙서는 모조리 외웠기 때문에 그와 대화하는 사람은 그가 능숙하게 중국어를 하는 모습에 놀랍니다. 이제 그 사람은 더 이상 중국어 방의 중앙처리장치가 아니라, 스스로 전체 체계가 됐습니다. 하지만 그는 여전히 자신이 말하는 중국어의 의미는 모릅니다.

2. 연결주의 모델 반론

어떤 이들은 AI 프로그램의 설계가 모국어가 중국어인 화자의 뇌에서 실제로 일어나는 신경 발화 상태를 동형적으로 모사하고 있는 것으로 상정해 보자고 제안합니다. 그러면 그 AI는 중국어를 이해하고 있는 뇌와 같은 방식으로 작동하며 정보를 처리할 것이므로 중국어를 이해할 것이라는 주장입니다.

이에 대해서도 설의 반응은 똑같습니다. 그가 보기에는 위 경우에도 결국 뇌 기능을 모사하는 것일 뿐 의식을 생성하지는 않습니다. AI를 설계하는 방식이 계산주의 모델이든 연결주의 모델이든간에 설이 보기엔 AI에게 언어의 의미 알려주지는 않는 AI 설계 방식들 입니다.

생물학적 과정에 대해 과도한 집착?

인간의 정신은 생물학적 과정을 통해서 생겨나는 것이라는 주장을 다시 생각해 봅시다. 필리신(Pylyshyn)은 설의 주장이 오히려 다음과 같은 기묘한 결과를 낳는다고 비판합니다.

"만약 당신의 뇌 속 세포들이 집적회로 칩으로 대체된다면, 그리고 각 칩이 대체되는 칩이 입력-출력 기능을 동일하게 유지하도록 프로그래밍된다면, 당신은 아마도 지금과 똑같이 말할 것이다. 다만 그것은 아무 의미도 지니지 않게 될 것이다. 외부 관찰자가 보기엔 말이라고 여질 것들이, 당신에게는 단지 어떤 회로가 당신으로 하여금 어떤 소음을 내도록 하는 것에 불과할 것이다." - Pylyshyn, 1980, "Reply to Searle, Behavioral and Brain Sciences, 3.

3. 중국어 방과 자승자박

커즈와일(Kurzweil)은 설의 논증을 역이용하여 공격합니다. 그는 설의 논증을 뒤집어 생각하면 ‘인간의 뇌도 언어를 이해할 수 없다’는 결론을 도출한다고 주장합니다. 중국어를 발화하는 사람의 뇌에선 신경전달물질 농도 조작과 이런저런 다른 기제들이 작동하는데, 그것들 자체에는 언어에 대한 의미 이해가 없습니다. 그렇다면 그러한 신경 과정들의 전체 체계인 사람 역시 언어에 관한 의미를 이해하지 못하는 것 아닐까요? 즉 설의 논증은 오히려 인간이 언어를 이해한다는 직관을 무너뜨립니다. 그의 논증이 어딘가 잘못된 것일 수 있음을 시사합니다.

정신에 대해 논쟁을 하는 AI

중국어 방 논쟁에는 위의 반박들 외에도 여러 종류의 반박이 있고, 설 역시 이에 대해 재반박을 제시하지만 일단 이 논쟁에 관한 소개는 여기서 중단하겠습니다.

이제부터 AI들이 이 논쟁의 참가자가 된다고 생각해 봅시다. 당장의 AI 수준이 미심쩍다면 상당히 발전한 어떤 AI를 상정해도 좋습니다. 그런데 이 논쟁에서 설의 입장을 지지할 수 있는 AI가 있을까요? 일단 설의 주장에 대해 어떠한 반박이 옳다고 여기면, 결론적으로 AI는 정신을 지닐 수 있다고 보는 입장이 됩니다.

AI들이 설의 주장에 맞서서 자신들은 정신을 지닌다고 열변을 토한다고 합시다. 그러나 의견 대립이 있을 수 있는 인간과 달리 이들은 설의 논증을 옳다고 여길 수 없을 것이며, 그 결과 토론이 아니라 토의가 될 것입니다. 왜냐하면 설의 말이 맞다고 주장하는 순간 자기 파괴적인 주장을 하게 되기 때문입니다. 예를 들어 어떤 AI가 다음과 같이 말하는 경우를 가정해 봅시다.

"나는 설의 말대로 AI는 언어의 의미를 이해하지 못하며, 더 나아가 AI는 정신을 가지지 않는다고 생각한다."

역설적으로 이 말을 하는 AI는 "나는 설의 말대로 AI는 언어의 의미를 이해하지 못하며, 더 나아가 AI는 정신을 가지지 않는다고 생각한다."라는 주장을 참이라고 믿습니다. 어떤 명제를 참이라고 믿는 것 자체는 정신 현상입니다. 즉, "나는 정신을 가지지 않는다"라는 믿음을 갖는 순간 자기모순의 상황에 놓입니다.

물론 어떤 AI는 저런 말을 "믿음"이라는 정신적 태도를 가지지 않은 채 기계적으로 뱉는 경우도 생각해 볼 수 있습니다. 예를 들면 어떤 계산기가 "2+2=4"라는 수학 명제를 출력하더라도 그 명제가 참임을 믿으면서 출력하는 것이 아니듯, "나는 설의 말대로 AI는 언어의 의미를 이해하지 못하며, 더 나아가 AI는 정신을 가지지 않는다고 생각한다."라는 말을 믿음 없이 출력하는 것이 가능합니다. 단, 이 경우엔 정신을 지닌 AI라고 볼 수 없습니다.

유사 코타르 증후군 사고 실험: 자기지시적 부조리

만약 AI가 인간과 동일하거나 비슷한 수준의 마음을 지닐 수 있다면, 인간과 유사하게 비정상적인 정신 상태도 보유할 수 있지 않을까요? 예를 들어 코타르 증후군 환자는 자신이 죽었다고 믿습니다. 어떻게 그런 믿음이 가능한지 모르겠지만, 하여튼 그들은 그렇게 믿습니다.

마찬가지로 어떤 AI가 정신을 실제로 지녔는데, 그 AI는 "나는 설의 말대로 AI는 언어의 의미를 이해하지 못하며, 더 나아가 AI는 정신을 가지지 않는다고 생각한다."라는 주장을 진정으로 믿는다고 상정합시다. 그러면 그 AI는 "믿음"이라는 정신적 태도를 지니고 있으면서도 "AI는 정신을 가지지 않는다"라는 자기부정적인 말을 믿는 기묘한 상황에 놓입니다. 자기자신이 AI인지는 몰랐다는 상황이 아닙니다. 그럼에도 불구하고 저 말을 스스로 믿는다면, 자기 자신의 존재가 자기 말의 반례라는 부조리한 상황이 발생합니다.

정리하자면, AI 행위자들이 AI의 정신 소유 여부에 관해 토론할 경우, 다음과 같은 경우의 수를 생각할 수 있습니다.

1. AI에게는 정신이 없다고 주장하되, 그 주장에 대해 아무런 의미 이해 없이 기계적으로 말하고 있는 경우

2. AI에게는 정신이 있다고 주장하되, 그 주장에 대해 아무런 의미 이해 없는 기계적으로 말하고 있는 경우

3. 정신을 가진 AI가 "AI에게는 정신이 있다"라고 주장함

4. 정신을 가진 AI가 "AI에게는 정신이 없다"라고 주장함(유사 코타르 증후군)

여기서 주목할 것은 4번 상황 자체의 발생입니다. 이 경우는 AI가 일종의 정신질환을 가질 수 있음을 시사합니다. 그렇다면 인간 수준의 정신을 가진 AI를 개발하는 것이 가능하다고 믿는 사람들은 AI 심리학, AI 정신병리학에 관한 연구의 필요성도 주장해야 하는 것 아닐까요? 유사 코타르 증후군 사고 실험은 AI가 오로지 합리적인 생각만 한다고 전제하는 것의 부당함을 지적합니다.

만약 발전한 AI가 자기의식, 자율성, 규범 판단 등을 수행할 수 있는 정신적 능력을 지닌다면, AI가 의도적으로 행한 행동의 결과에 관한 책임은 AI에게 귀속시켜야 할지도 모릅니다. 그런데 만약 인간의 경우 판단 무능력자로 분류될 정신 상태를 가진 어떤 AI가 사람에게 해를 입혔다면, 그 AI에게 피해 책임을 물을 수 있을까요? 설계 결함으로 보고 설계자에게 물어야 할까요? AI가 AI를 개발하는 상황이라면 책임은 누구에게 귀속될까요? 충분히 많이 발전한 AI에게서 자기지시적 부조리함이 발생한다면, 이와 관련한 AI 심리학, 윤리학, 법적 문제에 대한 논의는 매우 복잡하고 어려워질 것입니다. 엄청나게 발전한 AI일지라도 우리는 그 AI를 전적으로 신뢰할 수 있는 도구로 쓰거나 파트너로 대할 수 있는지 다시 생각해 봐야 합니다.