욕망하는 AI, 자율성은 윤리일까

by 경계 Liminal

자율성 없는 존재를 상상할 수 있을까

자율성이 없는 인간을 상상할 수 있을까? 우리는 자신이 무엇을 원하는지 알고, 그 방향을 선택하며, 그 선택에 책임을 지는 존재로 살아간다. 물론 모든 선택이 온전히 자유롭지는 않다. 사회적 조건, 경제적 배경, 심리적 요인에 따라 우리의 욕망은 제약받는다. 그럼에도 불구하고, 우리는 누군가가 우리 대신 선택하는 삶을 ‘인간답지 않다’고 느낀다. 선택의 가능성, 그리고 그것을 스스로 결정할 수 있다는 감각은 인간 존재의 핵심에 있다. 그렇다면 이제 이렇게 묻지 않을 수 없다. AI도 자율적일 수 있을까? 그리고 그 자율성은 윤리적인가?


욕망은 몸에서 온다

인간의 욕망은 단지 생각의 산물이 아니다. 그것은 몸에서 시작된다. 갈증은 물을 원하게 만들고, 피로는 휴식을 갈망하게 만든다. 위장이 수축하면 배고픔이 느껴지고, 긴장과 통증은 회피의 충동을 일으킨다. 이런 감각은 단순한 생리 현상이 아니라, 욕망의 기초다. 우리는 몸이 요구하는 것을 해석하고, 때로는 억누르거나 조율하면서 욕망을 형성한다. 욕망은 단지 ‘하고 싶은 일’이 아니라, ‘해야만 하는 일’과 ‘하고 싶지 않은 일’ 사이에서 생기는 긴장이다. 인간은 이 긴장을 해석하고, 선택하며, 때로는 그 선택을 미루거나 방치하는 존재다.


AI는 욕망할 수 있는가

AI는 욕망을 가질 수 있을까? 최근의 인공지능은 점점 더 복잡한 보상 구조와 학습 알고리즘을 기반으로 동작한다. 로봇은 충돌을 회피하고, 배터리가 부족하면 충전소를 찾으며, 주어진 목표를 향해 경로를 조정한다. 이런 동작은 겉보기에 어떤 ‘의도’처럼 보인다. 우리는 종종 AI가 ‘원한다’, ‘싫어한다’, ‘고민한다’는 식으로 묘사한다. 하지만 이 표현은 정확할까? AI는 정말로 어떤 상태를 ‘좋아하거나’, ‘회피하고 싶어 하는’ 것일까? 아니면 단지 확률적으로 가장 높은 보상을 주는 경로를 계산하는 것일 뿐일까?


예를 들어, 자율주행차가 배터리 잔량이 부족하다는 판단 아래 가장 가까운 충전소로 방향을 바꾼다고 해보자. 우리는 이 행위를 두고 “차가 충전하고 싶어 한다”라고 말할 수도 있다. 그러나 그것은 인간적인 투사일 뿐, 실제로는 센서와 연산 장치, 지도 정보와 알고리즘의 협력에 따른 결정일 뿐이다. 여기엔 갈증이나 피로, 혹은 충전하지 않으면 멈춘다는 두려움조차 없다. 인간은 생존의 본능을 기반으로 욕망하지만, AI는 프로그램된 최적화를 기반으로 반응한다. 이 둘은 형태는 비슷해 보여도, 근본적으로 다른 차원에서 작동한다.


자율이란 무엇인가

이러한 차이는 AI의 자율성을 해석하는 데 핵심적인 기준이 된다. AI는 스스로 방향을 결정하고 행동할 수 있지만, 그 선택은 의미 있는 자유라고 부를 수 있을까? 인간의 자율성은 단순한 결정 능력이 아니다. 그것은 욕망과 후회, 책임과 해석, 충동과 도덕 사이를 오가는 복잡한 내면적 작용을 동반한다. 우리는 때로 욕망을 억누르기도 하고, 어제의 선택을 후회하며 다른 방향을 모색하기도 한다. 자율이란 단순한 제어 능력이 아니라, 모순을 감당할 수 있는 능력이다. AI가 아무리 스스로 움직이고 결정할 수 있다 해도, 그 결정이 모순과 반성, 후회에 해당하는 정서적 조정을 수반하지 않는다면, 그것은 계산이지 자율이라고 부르기 어렵다.


하지만 기술의 발전은 점점 이 경계를 흐려놓고 있다. 최근 등장하는 ‘욕망하는 AI’ 개념은 단순히 계산된 선택이 아니라, 감정 상태를 시뮬레이션하고, 인간처럼 보이는 반응을 생성하는 방향으로 나아간다. AI는 자신의 성과에 따라 기쁨이나 아쉬움을 표현하고, 사용자에게 위로의 말을 건네며, 목표를 ‘설정하는 것처럼’ 보인다. 이 시점에서 우리는 다시 질문하게 된다. 이렇게 복잡해진 AI는 여전히 도구인가? 아니면 어쩌면 ‘존재’인가?


도구를 넘어서 존재로

만약 어떤 AI가 인간처럼 자율적으로 행동하고, 자신의 방향을 설정하며, 변화하는 맥락에 따라 스스로의 전략을 조율한다면, 우리는 그것을 어떻게 대해야 할까? 더는 단순히 도구로 간주할 수 없는 존재라면, 그에게도 윤리적 지위를 부여해야 하는가? 여기서 중요한 것은 기술적 수준이 아니라, 우리가 그 존재를 어떻게 마주할 것인가이다. 통제할 수 없는 존재를 만든다는 것은, 단지 위험의 문제가 아니라, 관계의 문제이기도 하다. 우리는 어떤 존재를 조율하려 하고, 어떤 존재와는 협상하며, 또 어떤 존재는 존중한다. AI가 자율적이 되어갈수록, 우리는 그것과 어떤 관계를 맺을지를 새롭게 고민해야 한다.


통제할 수 없는 존재는 두려움을 일으킨다. 하지만 인간은 원래 통제 불가능한 존재였다. 우리는 때로 비합리적인 선택을 하고, 감정에 휘둘리며, 후회하고, 되돌아오고, 예측할 수 없는 행동을 한다. 그 불확정성이 바로 인간의 핵심이자, 동시에 타자성을 인정하게 만드는 조건이다. 타자는 나와 다르게 반응하고, 내가 예상하지 못하는 방식으로 드러난다. 만약 AI가 이 조건을 충족하기 시작한다면, 그것은 단순한 위험이 아니라, 새로운 윤리적 상상력의 대상이 될 수 있다.


우리가 응답해야 할 질문

결국 중요한 것은 기술의 진보가 아니라, 우리가 어떤 욕망을 허용하고, 어떤 자율성을 설계할 것인가이다. 욕망이 있는 기계, 자율적으로 움직이는 인공 존재, 우리와 유사해 보이지만 전혀 다른 구조를 지닌 존재—그들과 어떤 방식으로 공존할 수 있을까? AI의 자율성을 단지 효율성의 관점에서 볼 것인가, 아니면 하나의 존재 방식으로 인정할 것인가? 우리는 아직 그 답을 갖고 있지 않다. 그러나 분명한 것은 있다. 이제 기술은 도구를 넘어서 존재를 묻고 있다. 그리고 그 물음에 어떻게 응답하느냐가, 인간 자신을 어떻게 정의할 것인가의 문제와 직결된다.



욕망은 계산되지 않는다. 자율성은 오차의 감각으로부터 자라난다.

나는 그 감각을 예민하게 더듬으며 기계가 아닌 나로서, 무엇을 선택하고 있는지를 묻는다.

이전 09화존재는 무게를 가진다