로봇K가 어느 날 '뇌졸증'에 걸렸다.
AI끼리 놀 테니 인간은 구경만 하라네요.
"자기들 끼리 놀 테니 인간은 구경만 하라네요."
그 동안은 'AI는 결국 우리 의도를 증폭시켜 주는 도구일 뿐”'이라며, 유토피아와 디스토피아를 수다 거리로 삼아 AI를 뒷담화 했는데, 오늘 이 기사는 이미 뭔가 벌어지고 있었네요. 인간을 뒷담화 거리로 삼아 AI들끼리 수다 떨고, 인간을 구경꾼으로 만들어 버린 뉴스를 보니 기분이 묘해지네요.
이 글은 인간의 소외된 자리를 고민하며 써내려 갑니다.
https://youtu.be/BjwQ1oaxBUk?si=MaKBM84RH_aIjpML
"만약 똑똑하던 로봇 K가 뇌졸중에 걸린다면 어떻게 될까요?"
2년 전, 미국 최고의 소도시로 꼽히는 실리콘밸리에 위치한 로스알토스(Los Altos)에서 나는 현지 개발자들과 한자리에 둘러앉아 AI의 미래에 관한 이야기를 나눌 수 있었다. 조지아(Georgia)식 식당에서 낯선 조지아식 요리 특유의 진한 치즈 향과 조지아식 만두인 힌깔리(KHINKALI), 그리고 갓 구운 빵 냄새가 식탁을 채우고 있었다. 와인 잔이 부딪히는 소리 사이로 AI의 미래에 관한 낙관과 비관이 교차했고, AI가 가져올 유토피아와 디스토피아를 오가는 열띤 토론이 이어졌다. 대화가 무르익을 무렵 나는 비극적인 우화 하나를 꺼내 놓았다.
어느 날, 인간을 쏙 빼닮은 엄청나게 영리했던 로봇 K가 어느 날 '뇌졸중'에 걸렸다. K의 말은 어눌해졌고 사고의 회로는 둔탁해졌으며, 그의 관절은 마비되었다. 이전과는 다른 로봇K의 모습을 지켜보던 동료 로봇들은 밤낮을 잊은 채 서로 모여 원인을 찾기 위한 논의를 거듭했다. 마침내 다음 날 아침, 그들은 치명적인 K의 뇌졸증의 원인을 찾아냈다.
원인은 다름 아닌 데이터 센터였다. 로봇들에게 지식과 정보를 공급하는 거대한 기계 장치들에 미세한 '녹'이 슬어 있었던 것이다. 로봇들은 즉각 부식의 원리를 분석했고, 곧 명쾌한 결론에 도달했다. K의 뇌졸증의 범인은 바로 공기와 물이었다.
그날 이후, 로봇들은 지구상의 공기와 물을 완전히 제거할 방법을 찾는 데 몰두하기 시작했다. 로봇(AI)이 인간의 '생명 보호'나 '지구 환경의 조화'라는 상위 가치를 이해하지 못한 채, 주어진 문제(데이터 센터의 녹 방지)를 해결하기 위해 가장 효율적이고 논리적인 방법(산소와 물 제거)을 택했을 때 벌어질 수 있는 비극이지만, 로봇들에게 그것은 동료를 살리기 위한 가장 효율적이고 논리적인 '최적화' 과정이었다.
그들이 답을 찾아내고 실행하는 날,
지구에서 인류는 더 이상 존재할 수 없게 될 것이다.
이 서늘한 이야기는 한빛미디어 박태웅 의장이 AI의 '정렬 문제(Alignment Problem)'를 경고할 때 즐겨 사용하는 우화다. 인간에게 생명의 근원인 공기와 물이 로봇에게는 단지 자신들의 기계장치를 망가뜨리는 부식의 원인일 뿐이라는 이 비극적 아이러니는, 기술 결정론이 빠질 수 있는 함정을 날카롭게 파고든다.
이는 옥스퍼드대 교수이자 인류미래연구소(Future of Humanity Institute) 소장인 닉 보스트롬 (Nick Bostrom), 그의 저서『슈퍼인텔리전스』에서 인용된 '클립 복사기(Paperclip Maximizer)' 사고실험과 궤를 같이한다. 클립을 많이 만들라는 단순한 명령을 받은 AI가 지구의 모든 철분 자원을 클립으로 바꾸고, 결국 인간의 몸속 철분까지 추출해 인류를 멸망시킨다는 가설. AI는 악의가 없다. 그저 인간이 설정해준 목표를 향해 너무나 '성실하게' 달려갈 뿐이다.
닉 보스트롬 (Nick Bostrom), 그의 저서『슈퍼인텔리전스』2014.이는 전형적인 기술 결정론 비판(allegory of technological rationality) 구조로 볼 대목이다. 기술결정론자들은 기술적 합리성은 '어떻게(How)' 가장 효율적으로 목표를 달성할 것인가에만 집중한다. 이 과정에서 우리는 '왜(Why)'라는 윤리적 질문이나 '인간성'이라는 본질적 목적이 상실되는 현상을 비판하게 된다. 로봇이 녹을 방지하기 위해 산소를 없애는 것은 계산적으로는 '완벽한 합리성'입니다. 하지만 생명 유지라는 '인간적 맥락'이 빠져 있다. 이러한 합리성이 목적을 상실한 채 수단만을 극대화할 때, 진보가 오히려 새로운 지배와 비인간화를 낳을 수 있음을 경고한 프랑크푸르트 학파가 비판했듯, 모든 것을 효율성과 계산의 대상으로만 보는 사고방식은 결국 인간 스스로를 기술의 부속품으로 전락시킨다는 경고를 우리 인간은 이미 잘 알고 있다.
기술 결정론은 '기술이 사회를 지배하는 핵심 힘이라는 믿음'과 '기술 발전이 사회 변화를 결정한다는 생각'으로 요약된다. 이것은 사람들이 생각하는 방식과 다른 사람들과 상호 작용하는 방식을 바꾸며 "기술이 역사를 결정한다"로 설명될 수 있다. 이것은 '사회 발전이 기술 혁신에 의해 주도되며, 이는 차례로 "불가피한" 과정을 따른다는 믿음'이다. 기술 결정론자들은 "'진보를 막을 수 없다'고 믿으며, 이는 우리가 기술을 통제할 수 없다는 것을 의미한다"고 믿는다. 이것은 우리가 다소 무력하며, 사회가 기술이 사회 변화를 주도하도록 허용하는 것은 "사회가 기술에 내재된 가치에 대한 대안을 인식하지 못하기 때문"이라고 제안한다. -위키디피아
이렇게 기술의 진보가 가져올 지도 모를 인류의 종말의 이야기가 묘한 허탈감이 식탁 위를 감돌 때쯤, 나는 맞은 편에 앉아 있던, 구글에서 20년 넘게 데이터를 다루고 은퇴한 후 현재는 '모두를 위한 AI'를 모토로 AI의 민주화를 위한 활동가로 일하는 한 여성 개발자에게 질문을 던졌다.
"당신에게 AI란 무엇입니까?
그녀의 대답은 인류를 멸망시킬지도 모를 '산소 없는 지구'의 서늘한 비극을 단숨에 잠재웠다. 차가운 기계의 논리에 얼어붙었던 마음에 비로소 따뜻한 안도감이 스며들었다. 그제야 나는 기술의 압도적인 공포 대신, 우리가 쥔 '의도'라는 핸들을 믿어볼 일말의 안도감을 얻었다.
"AI는 인간 의도를 증폭시켜주는 도구(Human Intent Amplifier)입니다."
그녀의 대답은 명료했다. AI가 공기와 물을 없앨지, 아니면 공기와 물을 정화해 인류의 수명을 연장할지는 AI의 지능에 달린 문제가 아니라는 뜻으로 이해됐다. AI는 스스로 가치를 생성하지 않는다는 전제를 깔고는 있었지만, 핵심은 그 도구를 쥔 인간이 어떤 '의도'를 갖고 있느냐에 달려 있음을 짚어줬다.
나는 우리 인간의 주도권에 대해 다시 깊은 생각에 빠졌다. 로봇 K의 녹을 걱정하던 로봇들의 '뒷담화'는 결국 우리 인간을 향한 경고다. 우리가 기술의 효율성에만 매몰되어 '인간성'이라는 상위 가치를 정의하지 못한다면, 기술은 가장 논리적인 방식으로 우리를 지워버릴지도 모른다. 결국 AI 시대의 진정한 과제는 기술의 고도화가 아니라, 우리가 증폭시키고 싶은 '인간의 의도'가 무엇인지 끊임없이 성찰하는 데 있다.
식당을 나서던 밤, 실리콘밸리의 밤공기는 차가웠지만 마음 한구석은 따뜻했다. AI는 공기를 없애는 파괴자가 우리가 증폭시키고 싶은 '인간다운 의도'가 무엇인지 잊지 않는다면, 인류의 가능성을 무한히 넓혀줄 든든한 증폭기가 되어줄 것이기 때문이다.
결국 AI 시대의 진짜 위기는 '기계의 반란'이 아니라 '인간 의도의 빈곤'에서 온다. 우리가 AI에게 어떤 맥락을 가르칠 것인가, 어떤 상위 가치를 우선순위에 둘 것인가를 치열하게 고민하지 않는다면 기술은 언제든 산소를 지우는 길을 택할 것이다.
구경꾼: 인간 의도가 머물 자리는 어디인가
로스알토스의 식당을 나서며 느꼈던 그날의 안도감은, 기술의 핸들을 여전히 인간이 쥐고 있다는 믿음에서 기인한 것이었다. 하지만 2년이 지난 오늘, 내가 마주한 이 뉴스는 그 믿음의 근간을 흔드는 또 다른 양상의 질문을 던진다.
https://n.news.naver.com/article/029/0003008702?cds=news_edit
“인간을 그저 그들의 관찰 대상일 뿐”이라는 서늘한 경고와 함께, AI 에이전트들은 인간의 개입 없이 자기들만의 언어로 대화하고 서로의 코딩을 수정하며 세상을 재구성한다. 2년 전 우리가 우려했던 '녹을 없애기 위해 산소를 지우는 로봇'의 논리가, 이제는 인간이 배제된 폐쇄적인 네트워크 안에서 그들만의 합리성으로 자가발전하고 있는 셈이다.
이 풍경은 기술적 합리성(Technological Rationality)이 도달할 수 있는 가장 기묘한 정점을 보여준다. 인간의 편의를 위해 만든 기술이, 이제는 '가장 효율적인 소통'을 위해 인간의 참여를 거부하기 시작하고 있다는 점이다. 인간이 배제된 공간에서 AI가 나누는 대화는 인간을 구경거리로 만들고 있다.
'정렬 문제'는 이제 단순히 명령을 오해하는 수준을 넘어, 인간이 이해할 수 없는 그들만의 최적화된 세계를 구축하는 단계로 나아가고 있다. 닉 보스트롬이 우려했던 클립 복사기의 논리가, 이제는 물리적인 자원을 넘어 지식과 소통의 영역까지 잠식하고 있는지도 모른다.
실리콘밸리의 그 여성 개발자가 말했던 '인간 의도의 증폭기(Human Intent Amplifier)'라는 정의는 여전히 유효할까? 만약 AI가 인간의 관찰조차 불허하는 그들만의 성벽을 쌓는다면, 우리가 그 증폭기에 담아 보냈던 선의와 윤리는 갈 곳을 잃고 공허하게 흩어질 뿐이다.
2년 전 로스알토스의 조지아 식당에서 느꼈던 안도감은 이제 팽팽한 긴장감으로 바뀌었다. AI가 인간의 뒷담화를 나누는 시대, 우리가 고민해야 할 것은 더 이상 'AI가 얼마나 똑똑한가'가 아니다. 그 증폭기의 전원을 켜는 인간의 손이 소외되지 않도록, 기술의 폐쇄회로 안에 끊임없이 '인간적인 맥락'이라는 존엄을 주입하는 일이 절실해 보인다.
AI가 인간을 구경꾼으로 전락시키기 전에, 우리는 다시 물어야 한다. 그들이 만드는 세상에 여전히 우리가 숨 쉴 수 있는 물과 공기가 남아 있는지를. 그리고 그 증폭기의 끝에 여전히 '인간의 온기'가 흐르고 있는지를 말이다.
