챗봇의 최초 개발자는 어떻게 AI에 반대하게 되었는가
이 글은 가디언지의 다음 기사를 해석한 것입니다.
출처: Weizenbaum's nightmares: how the inventor of the first chatbot turned against AI
저자: Ben Tarnoff
컴퓨터는 판단이 아니라 오직 계산만 할 수 있다. 왜냐하면 그것은 인간이 아니기 때문이다.
1976년, 바이젠바움은 자신의 대표작을 출판한다: <컴퓨터의 능력과 인간 이성: 판단에서 계산까지>. "이 책은 나를 압도했다, 마치 바다에 부딪히는 것 같았다." 자유주의 운동가 칼 헤스(Karl Hess)가 쓴 추천사다. 이 책은 정말 압도적이다. 컴퓨터에 관한 종종 번뜩이는 생각들이 혼란하게 여기저기 쏟아진다. 찾아보기를 잠깐 훑어봐도 바이젠바움이 상대한 사람들의 범위가 보인다: 민스키나 맥카시 같은 동료들뿐 아니라 정치 철학자 한나 아렌트, 비판 이론가 막스 호르크하이머, 그리고 실험적인 극작가 유진 이오네스코. 바이젠바움은 캘리포니아에 있는 스탠포드 대학에서 펠로우십을 끝낸 후 이 책을 집필하기 시작했다. 그곳에서 그는 어떤 의무도 없이 큰 연구실과 문학 비평가, 철학자, 정신의학자들과의 자극이 되는 많은 토론을 즐겼다. <컴퓨터의 능력과 인간 이성>으로 그는 컴퓨터 과학을 포기하기보다 깨트려 열어젖힌 후 대안적인 전통이 쏟아져 들어오기를 바랐다.
이 책은 두 가지 주요 주장을 담고 있다. 첫째: "인간과 기계는 다르다" 둘째: "컴퓨터가 하도록 만들어질 수 있는지와는 관계없이 컴퓨터가 하도록 만들어져서는 안 되는 작업들이 있다." 이 책의 부제--판단에서 계산까지--는 이 두 진술이 어떻게 연결되는지에 대한 단서를 제공한다.
바이젠바움에게, 판단은 가치에 기반한 선택을 포함한다. 가치는 우리가 경험하는 삶의 여정을 통해 획득되고 필연적으로 질적이다: 이들은 코드로 담아낼 수 없다. 반대로 계산은 양적이다. 이것은 결정에 도달하기 위해 기술적인 계산법을 이용한다. 컴퓨터는 판단이 아니라 오직 계산만 할 수 있다. 왜냐하면 그것은 인간이 아니기 때문이다. 다시 말해, 인간적 역사를 갖고 있지 않기 때문이다. 그들은 엄마에게서 태어나지 않았고, 유년기도 없고, 인간의 몸에 살고 있지도 않고, 인간의 무의식을 가진 인간적인 정신도 가지고 있지 않다. 따라서 가치를 형성할 기반도 가지고 있지 않다.
물론 우리가 컴퓨터를 계산만 해도 되는 일에 묶어 둔다면 괜찮을 것이다. 그러나 그가 "인공 지식계급(artificial intelligentsia)"이라 부른 사람들이 벌인 성공적인 이념적 캠페인 덕분에 점점 많은 사람들이 인간과 컴퓨터를 상호교체가능하게 여겼다. 그 결과, 컴퓨터는 자신의 능력이 전혀 아닌 문제에 대해 권위를 가지게 되었다. (바이젠바움은 컴퓨터가 법적 환경에서 판사의 기능을 수행하거나 임상 환경에서 정신의학자의 기능을 수행하도록 하는 것은 "기괴한 외설"이라고 했다.) 인간과 컴퓨터를 서로 바꿀 수 있는 것으로 생각하는 것은 또한 인간이 자신을 컴퓨터로 여기고 컴퓨터처럼 행동하기 시작했다는 것을 의미했다. 인간은 기계에 비친 자신의 모습을 거울삼아 계산을 위해 판단을 버리고 이성적 능력을 기계화했다.
이것은 특히 파괴적인 정책적 결과를 가져왔다. 정부와 기업의 유력 인사들은 자신의 책임을 피하면서 특정 관행을 영구화하기 위한 방법으로서 의사 결정을 컴퓨터 시스템에 아웃소싱할 수 있었다. 바이젠바움은 폭격기 조종사가 "마을을 전혀 볼 수 없기에 불에 탄 아이들에 대해 책임이 없는 것"과 마찬가지로, 소프트웨어는 장군과 경영진들에게 그들이 야기하는 고통으로부터 유사한 종류의 심리적 거리를 제공한다고 보았다.
컴퓨터가 더 많은 결정을 하도록 두는 것은 또한 가능한 결정의 범위를 축소한다. 알고리즘의 논리에 묶여있는 소프트웨어는 인간 판단이 가지는 유연성과 자율성이 부족하다. 이것은 계산의 심장에서는 보수적 박동이 뛰고 있음을 설명해 준다. 역사적으로 보아 컴퓨터는 "때맞춰" 도착했다. 그런데 무엇을 위한 때인가? "거센 요구에 휘청하거나 근본적으로 쇄신해야 했을 사회적, 정치적 구조를 방호하고 안정화하기 위한, 즉 그것을 온전히 구하기 위한 때이다."
컴퓨터는 1960년대에 주류가 되었다, 컴퓨터는 미국의 제도들이 다양한 심각한 도전에 직면해 있는 와중에 그 안으로 깊이 뿌리내렸다. 민권 운동, 반전 운동, 그리고 신좌파는 그 시대의 반체제 에너지가 표출된 몇 가지 통로였을 뿐이다. 시위자들은 종종 정보 기술을 표적으로 삼았다. 베트남 전쟁에서의 역할 때문만이 아니라 자본주의의 옥죄는 힘과 연관되어 있기 때문이었다. 1970년 위스콘신 대학의 운동가들은 건물을 점거하는 동안 중앙 컴퓨터를 파괴했다. 같은 해에 뉴욕 대학교에서는 시위대가 중앙 컴퓨터를 거의 날릴 뻔했다.
이것이 <컴퓨터의 능력과 인간 이성>이 출현했을 때의 분위기였다. 컴퓨터는 매우 정치화되었다. 그것이 취해야 할 경로에 관해서는 여전히 의문으로 남아있었다. 한쪽 편에서는 "컴퓨터가 만들어 내야만 하는 것이 무엇인지에 대해서는 한계가 있어야 한다고 믿는 사람들이 있었다"라고 바이젠바움은 책의 서문에 쓰고 있다. 다른 한 편에서는 "컴퓨터가 모든 것을 할 수 있고 해야 하고 할 것이라고 믿는" 사람들, 인공 지식계급이 있었다.
Nothing will save our children and grandchildren from an Earthly hell. Unless: we organise resistance against the greed of global capitalism.
마르크스는 자신의 저서 <자본론>을 "이제까지 부르주아지들의 머리에 던져진 가장 끔찍한 미사일"이라고 묘사한 적이 있다. <컴퓨터의 능력과 인간 이성>은 비슷한 위력으로 인공 지식계급을 공격하는 것처럼 보였다. 원조 인공지능 전문가인 맥카시는 리뷰에서 "도덕군자인척 앞뒤가 안 맞는", "신좌파 슬로건" 작품이라 맹비난했다. 민스키의 박사과정 학생인 MIT 인공지능 연구소 벤자민 카이퍼스(Benjamin Kuipers)는 바이젠바움의 "인공지능 연구 커뮤니티에 대한 가혹하고 때로 매서운 비난"에 대해 불평했다. 바이젠바움도 그 싸움에 뛰어들었다. 그는 맥카시의 리뷰에 대해 조목조목 반박하는 글을 썼고, 이는 예일대 인공지능 과학자 로저 섕크(Roger C Schank)의 반응을 끌어냈고, 바이젠바움은 이에 대해서도 응답했다. 그는 분명히 그 전쟁을 즐겼다.
1977년 봄, 논란은 뉴욕 타임스 1면을 장식했다. "기계가 생각할 수 있을까? 그래야 할까? 컴퓨터 세계는 이러한 질문에 대한 근본적인 논쟁의 한 복판에 있다"라고 리 뎀바트(Lee Dembart) 기자가 썼다. 바이젠바움은 자신의 MIT 연구실에서 인터뷰를 했다. "나는 이단임을 선언하고 나는 이단아다."
<컴퓨터의 능력과 인간 이성>은 저자가 컴퓨터 과학 세계 출신이었기에 큰 동요를 일으켰다. 그러나 인공지능 자체가 포위된 상태라는 다른 요인도 있었다. 1970년대 중반, 예산 긴축과 떠벌려 놓은 기대에 부응하지 못하는 그 분야에 대한 정부 내 불만이 치솟으며 첫 번째 "AI 겨울"이 찾아왔다. 연구자들은 이제 연구비를 따는데 어려움을 겪었다. 바이젠바움에 대한 반응이 과열된 것은 부분적으로는 그가 쓰러져 있는 자신들을 발로 차고 있다고 생각했기 때문인 것 같다.
인공지능은 이 시기에 비판적으로 재평가되는 컴퓨팅의 유일한 분야는 아니었다. 의회는 최근에 사람들의 개인정보를 보호하고 컴퓨터화된 의사결정의 잠재적 위험을 완화하기 위해 정부와 업계의 "전자 데이터 처리"를 규제하는 방식을 숙고하고 있었다. (약화된 개인정보 보호법이 1974년에 통과되었다.) 캠퍼스의 컴퓨터 센터를 공격하는 급진주의자들과 데이터 규제를 면밀히 조사하는 국회 사이에서 첫 번째 "기술 반발(techlash)"이 일어났다. 바이젠바움에게는 좋은 타이밍이었다.
<컴퓨터의 능력과 인간 이성>은 그에게 전국적 명성을 안겨 주었다. 그는 기뻐했다. "인정은 아버지에게 정말 중요했습니다." 미리암이 말했다. "MIT 연구소의 내부 비관주의자"(보스턴 글로브)로서 그는 AI와 컴퓨터 관련 분야 기자들이 항상 찾는 사람이자 기억에 남는 인용문을 언제나 기대할 수 있는 정보원이었다.
그러나 어린 시절 이래로 그를 괴롭혀 온 의심과 불안은 결코 사라지지 않았다. "아버지가 자신이 사기꾼 같다고 말하는 것을 본 기억이 있어요." 미리암이 말했다. "그는 자신이 사람들이 생각하는 것만큼 똑똑하다고 생각하지 않았어요. 아버지는 자신이 충분히 괜찮다고 느낀 적이 없습니다." 책을 둘러싼 흥분이 가라앉으면서, 이러한 감정이 압도적으로 커져 갔다. 그의 딸 핌은 바이젠바움이 1980년대 초반 자살을 시도한 적이 있다고 말한다. 어느 시점에 그는 입원을 했고, 정신과 의사는 그를 자기애성 인격 장애라고 진단했다. 거대함과 낙담 사이의 급격한 변덕은 그를 사랑하는 사람들을 힘들게 했다. "아버지는 상처가 깊은 사람이었고 그가 흡수할 수 있는 사랑과 가족에는 한계가 있었어요." 핌이 말한다.
1988년 그는 MIT에서 은퇴했다. "그는 결국 상당히 소외감을 느꼈던 것 같아요." 미리암의 말이다. 1990년대 초, 그의 두 번째 아내 루스가 세상을 떠났다. 1996년, 바이젠바움은 60년 전에 도망쳤던 도시 베를린으로 돌아갔다. "독일로 이사하자, 아버지는 훨씬 만족하고 삶에 충실해 보였습니다." 핌의 말이다. 그는 그곳에서의 삶이 더 편하다는 것을 알았다. 미국에서는 그의 명성이 시들해졌지만, 독일에서는 오히려 높아졌다. 그는 강연장이 가득 차고 독일어로 인터뷰하는 인기 있는 강연자가 되었다.
이후 바이젠바움은 1970년대보다 훨씬 더 미래에 대해 비관적으로 생각하게 되었다. 기후 변화는 그를 두렵게 했다. 그럼에도 그는 급진적 변화의 가능성에 대한 희망을 품고 있었다. 그는 2008년 1월 <Süddeutsche Zeitung> 기고문에서 이렇게 말했다. "과학과 기술이 기후 파괴의 영향으로부터 지구를 구할 것이라는 믿음은 잘못되었다. 아무것도 지구적인 지옥에서 우리 아이들과 그들의 아이들을 구해주지 않을 것이다. 우리가 글로벌 자본주의의 탐욕에 맞서 저항을 조직하지 않는다면.”
두 달 후인 2008년 3월 5일 바이젠바움은 위암으로 세상을 떠났다. 85세였다.
Living well with computers would mean putting them in their proper place: as aides to calculation, never judgment.
이 무렵 인공지능의 평판은 안 좋았다. 이 용어는 실패의 대명사가 되었다. 미국적 세기의 정점에서 만들어진 맥카시의 야망은 이후 수십 년이 지나면서 사그라들었다. 음성을 텍스트로 변환하거나 한 언어를 다른 언어로 번역하는 등의 지능과 관련된 작업을 컴퓨터가 수행하게 하는 것은 예상했던 것보다 훨씬 더 어려운 일로 밝혀졌다.
오늘날 상황은 많이 달라졌다. 이제 우리에겐 음성인식이나 번역을 꽤 잘하는 소프트웨어가 있다. 얼굴을 식별하고 사진에 나타난 사물을 묘사할 수 있는 소프트웨어도 있다. 이는 바이젠바움 사후에 일어난 새로운 AI 붐의 기반이다. 가장 최근에는 텍스트, 오디오, 이미지를 훨씬 더 정교하게 합성할 수 있는 챗GPT 같은 "생성형 AI" 애플리케이션이 중심이 되고 있다.
기술적인 측면에서, 우리가 AI라 부를 수 있는 기술들의 조합은 반 세기 전에 바이젠바움이 이 분야에 대한 비평을 시작했을 때 생각했던 것들과는 같지 않다. 현재 AI는 인간의 뇌에서 대략적인 영감을 얻은 데이터 처리 구조인 "신경망"에 의존한다. 신경망은 <컴퓨터 능력과 인간 이성>이 출판되었을 때에는 유행 밖에 있었고, 바이젠바움이 죽고 난 후 몇 년이 흐를 때까지는 부활하지 못했다.
그러나 바이젠바움은 항상 기술로서 보다 이데올로기로서의 AI를 염려했다. 즉, 컴퓨터가 인간이 할 수 있는 모든 것을 할 수 있고 또 그렇게 만들어야 한다는 신념을 우려했다. 이 이데올로기는 여전히 잘 살아있다. 바이젠바움의 시대보다 더 강력할지도 모른다.
바이젠바움의 악몽 중 일부는 현실이 되었다. 미국 전역의 판사들은 보석, 선고, 가석방, 보호관찰에 대한 중요한 결정을 내리는 데 소위 위험평가도구를 이용하고 있고, AI 기반 챗봇은 인간 치료사를 만나는 것의 자동화된 대안으로서 일상적으로 홍보되고 있다. 결과는 그가 예상했던 것만큼 기괴한 것일 수 있다. 올초 한 보도에 따르면, 두 아이의 아버지인 한 벨기에 남성은 이름이 … 엘리자인 AI 아바타와 몇 주 동안 얘기를 나눈 후에 스스로 목숨을 끊었다. 그의 아내가 브뤼셀 기반의 신문 <La Libre>에 제공한 채팅 기록은 엘리자가 적극적으로 자살을 부추겼음을 보여주었다.
한 편으로, AI가 파괴적일 수 있다는 것이 이제 엄청난 우려가 됐다는 점을 알게 되다면, 바이젠바움은 아마 힘을 냈을 것이다. 이것은 정책입안자뿐만 아니라--EU는 세계 최초로 포괄적인 AI 규제 법안을 마무리하고 있고, 바이든 행정부는 "책임 있는" AI 관련 여러 이니셔티브를 발표했다--AI 실무자들에게도 중요한 문제가 되었다.
오늘날 대체로 AI의 위험에 관해서는 두 종류의 학파가 있다. 첫 번째 학파는 바이젠바움의 영향을 받아 현재 존재하는 위험에 초점을 둔다. 예를 들어, 언어학자 에밀리 M 벤더(Emily M Bender)와 같은 전문가들은 챗GPT가 기대고 있는 거대 언어 모형 같은 것들이 인터넷에서 끌어온 데이터를 학습하여 인종차별주의나 성차별주의 같은 역행적 관점의 메아리가 되는 방식에 주목한다. 그녀와 동료들은 2021년에 출판된 영향력 있는 논문에서, 이러한 모델은 일종의 "앵무새"로 이해해야 한다고 하면서, "방대한 학습 데이터에서 관찰한 언어적 형식의 배열을, 결합 방식에 관한 확률적 정보에 따라, 되는 대로 이어 붙이는 것"이라고 말한다.
두 번째 학파는 추론적인 용어로 사고하는 것을 선호한다. 이 학파의 지지자들은 이미 존재하는 위험에 대해서는 관심이 덜하다. 대신에 언젠가 "초지능"이 되어 인류를 말살시킬 수 있는 AI의 "실존적 위험"에 특히 관심이 많다. 여기서의 지배적인 은유는 앵무새가 아니라 터미네티어 영화에 등장하는 인류 학살 컴퓨터 시스템인 스카이넷이다. 이 관점은 비슷한 생각을 가진 싱크탱크 네트워크와 연구비 및 장학금에 자금을 지원해 온 일론 머스크를 비롯한 몇몇 테크 억만장자들의 열렬한 지지를 받고 있다. 그리고 이러한 종말론은 , 첫 번째 학파 사람들이 비판적으로 간파한 바에 따르면, 제품에 책임이 있는 실재하는 현재의 문제로부터 관심을 돌리게 만들어 산업에 유용하다. 만약 "모든 것을 먼 미래에 투영한다면, 현 상태는 그대로다"라고 메러디스 휘태커(Meredith Whittaker)는 지적한다.
컴퓨터에 대한 환상이 강력한 이익에 어떻게 기여하는지 언제나 주의를 기울였던 바이젠바움은 아마 동의했을 것이다. 그러나 그의 생각과 어느 정도 겹치는 실존적 위험과 관련된 생각의 실마리가 있다. 외계인으로서의 AI라는 생각이다. 철학자 닉 보스트롬(Nick Bostrom)은 "인간의 사고 과정이 바퀴벌레에게 그러하듯 초지능 기계는 인간에게 외계인 같을 것이다"라고 주장했다. 작가 엘리저 유드코프스키(Eliezer Yudkowsky)는 나아가 고등한 AI를 "온전한 외계 문명"에 비유한다.
바이젠바움이라면 다음과 같은 주의 사항을 덧붙였을 것이다: AI는 그것이 "초지능적"이지 않아도 이미 외계인이다. 인간과 컴퓨터는 서로 비교할 수 없는 별개의 영역에 속해있다. 실존적 위험에 처한 군중이 AI가 스카이넷이 되게 하지 않기 위해 인간의 목표와 가치에 맞추어 AI를 "정렬(alignment)"하는 일련의 관행인 "AI alignment"를 통해 바라고 있지만, 그 둘 사이의 거리를 좁힐 방법은 없다. 바이젠바움에 따르면, AI는 환원불가능하게 비-인간이기 때문에 AI를 인간화할 수 없다. 우리가 할 수 있는 것은 단지 컴퓨터가 너무 많은 것을 하게 (또는 의미하게) 만들지 않는 것이다. 그는 <컴퓨터의 능력과 인간 이상>에 우리는 절대로 "대인 존중, 이해, 사랑과 같은 인간의 기능을 컴퓨터 시스템으로 대체해서는 안된다"라고 썼다. 컴퓨터와 함께 잘 산다는 것은 컴퓨터를 제 자리에 두는 것을 의미한다: 계산을 위한 도우미. 절대 판단을 위한 것이 아니다.
바이젠바움은 언젠가 컴퓨터 안에서 지능이 발달할 가능성을 배제하지 않았다. 1991년 그는 작가 다니엘 크레비어(Daniel Crevier)에게, 그러나 만약 그렇게 된다면 그것은 "적어도 돌고래의 지능이 인간의 지능과 다른 만큼 다를 것"이라고 말했다. 여기에 가능한 미래가 숨어 있다. 인종차별주의 앵무새들로 가득 찬 반향실도 아니고 할리우드 디스토피아 스카이넷도 아닌 미래다. 우리가 다른 종들과 맺는 관계처럼 AI와 관계를 맺는 미래이다. 둘 사이 먼 거리 때문에 어색하지만, 보상적인 순간들도 가능할 것이다. 돌고래는 나쁜 판사, 형편없는 정신과 의사가 될 것이다. 하지만 재밌는 친구가 될 수는 있다.