악하지 않은 AI도 문제라고요? Part.3

AI야 다 "해줘" - AI 과의존성 문제

스마트폰 분실의 악몽

폰을 잃어버린 날 나는 대재앙의 정의가 무엇인지 또렷이 알게 되었다. 이것이 바로 대재앙이다. 나는 완벽하게 무력했다. 나의 모든 재산과 연결 창구 연결을 했던 스마트월렛은 폰과 함께 동반분실 되었다. 무일푼이 되었다. 차 잠금장치가 스마트폰에 연동되어 있었다. 머나먼 집에 갈 수도 없다. 작심하고 걸어가고 싶어도 지도앱을 못보니 길까막눈이다. 전화를 걸 사람의 번호도 당연히 외우지 못하고 있다. 번호를 외우고 있으면 뭘 하나. 여전히 전화를 걸 폰이 없다. 결국 해결책은 폰을 가진 누군가를 찾는 일이었다.

하나의 기술에 생을 과도하게 의존할 때 발생할 수 있는 일이다. 스마트폰 혁명 이후 다음 혁명으로 주목받는 AI에 대해서도 비슷한 일이 벌어질 수 있지 않을까. E. M. 포스터의 “기계는 멈춘다"(The Machine Stops)는 인간의 과도한 기계 의존이 초래할 어두운 미래를 그린 소설로 잘 알려져 있다. (여담이지만 전편의 서두에서 꺼낸 영화 매트릭스도 이 작품에서 많은 영감을 받았다고 한다.) 

이 작품에서 그려진 ‘기계’는 인간의 욕구를 충족시키는 데 최적화된 범용 AI 시스템이다. 기사에 따르면 무려 1909년에 발표된 소설임에도 불구하고 놀랍게도 지금의 이메일, 태블릿 PC, 화상회의 같은 기술들을 예언하고 있다. 이 작품에서 모든 활동은 기계를 통해 이뤄지고 인간은 철저히 기계에 의존한다. 하지만 인간들은 기계가 어떻게 작동하는지는 모른다. 난관에 봉착할 때마다 “기계”님을 애타게 찾는다. 갈수록 기계의 성능은 향상되고 인간의 지능은 퇴보했다. 진보는 오로지 기계의 진보를 의미하게 되었다. 인간은 기계 없이 존재의 의미를 잃어버리기에 이른다.

얼마나 먼 미래일까

이런 디스토피아가 과연 현실에서 재현될 수 있을까? 재현된다고 해도 얼마나 오랜 시간이 필요할까? 아직은 멀었다며 외면할 수도 있지만, 이미 인간의 AI 과의존성에 대한 우려는 재기되고 있다. 엘론 머스크도 ‘기계는 멈춘다’ 작품을 언급하며 AI에 대한 과의존성을 경고한 바 있다. 머스크는 트위터(본인이 인수하여 X로 바꾸기 전)에서 "AI/자동화에 대한 의존이 선의에서 비롯되었더라도 기계의 작동 원리를 잊어버릴 정도로 나아가면 인류 문명에 위험할 수 있다"라고 말했다.

AI 과의존성(Overreliance on AI) 이란?

AI 과의존성 (Overreliance on AI)에 대해 마이크로소프트는 24쪽 분량의 보고서에서 이렇게 정의한다. “AI 과의존성이란 사용자가 AI의 부정확한 추천을 그대로 받아들이는 것이다 (Overreliance on AI is defined as users accepting incorrect AI recommendations). 과의존성은 일반적으로 사용자가 AI를 신뢰해야 할지, 또 얼마나 신뢰할지에 대해서 결정할 수 없을 때 발생한다.

AI 과의존성에 대해 여러 원인이 지목된다. AI 시스템이 할 수 있는 일들이 무엇인지, 또 얼마나 잘할 수 있는지에 대한 이해 부족이 그중 하나로 꼽힌다. AI 기술의 복잡도가 난해하기 때문이다. 다른 원인으로는 인간의 본성이 지목된다. 인지적 구두쇠 (Cognitive miser)는 심리학에서 사람은 지능과 상관없이 생각하거나 문제를 해결할 때 더 복잡하고 노력이 요구되는 방법보다 더 간단하고 노력이 덜 드는 방법으로 가는 경향을 말한다. 굳이 그 복잡한 걸 이해하지 않고도 이미 내게 충분한 효용을 가져오는 AI에 대해 더 알려고 하지 않는다는 것이다. AI가 제시하는 판단을 ‘아묻따" 무비판적으로 받아들이고 수용하는 게 편하면, 그 오류 가능성에도 불구하고 사람들은 그리할 것이다. 

이미 보이기 시작하는 과의존성의 부작용

AI는 전편에서 언급했듯 기술적으로 아직 완벽하지 않다. 할루시네이션, 편향 등 산적한 문제가 있다. 그럼에도 불구하고 용감(?)하게 AI에게 중요한 결정을 의존했다가 큰코다친 사례들이 제법 있다. 아마존은 AI 채용 프로그램을 개발해서 사용하다 유색인종, 여성 등 기존 사회에서 소외된 집단을 구조적으로 차별하는 문제를 발견하게 되었다. 종 시뮬레이션 과정에서 남성 지원자가 여성 지원자보다 지속적으로 더욱 높은 점수를 받는 편향이 일어났다. 인공지능 채용 프로그램은 해당 기업에서 높은 성과와 좋은 평가를 받았던 직원들의 데이터를 기준으로 판단하게 되는데, 아마존 대다수를 차지하는 개발직군 중 남자 직원수가 여성보다 압도적으로 많았기 때문이다.

에어캐나다의 경우 고객응대를 AI 챗봇에 과도하게 의존하다 고객에게 소송을 당했고 결국 졌다. 에어캐나다의 생성형 인공지능(AI) 챗봇은 한 고객에게 90일 이내 할인을 신청하면 장례 할인을 제공한다고 설명했다. 챗봇의 안내대로 할인을 신청했지만 고객은 에어캐나다로부터 거절 통지를 받았다. 에어캐나다는 웹사이트 게시 정보와 다른 챗봇의 안내에 책임이 없다고 주장했다. 그러나 소액 민사 분쟁 중재 기구인 캐나다 민사중재원은 고객 손을 들어줬다. 인공지능을 맹신하다 피해를 본 사례는 이 외에도 많다.

의사가 왜 아프고 낫는지 이유를 모른다면

채용이나 고객 응대보다 더 사회적으로 치명적인 영향을 미칠 수 있는 분야에서 과의존성 문제가 대두되면 어떻게 될까. 의료계 일각에서는 "인공지능이 본격적으로 도입되면 의료사회는 인공지능 의존성이라는 문제가 대두될 가능성이 높다"면서 "점차 인공지능이 제시하는 판단을 무비판적으로 받아들이고 스스로 판단하는 전문가적 능력이 저하될 수 있다"라고 내다봤다. 그는 응급상황에서의 대처 능력도 떨어질 가능성을 제기하기도 했다. 항공업계에서는 항공기에 자동항법장치가 도입된 이후 비행기 조종사들의 위기 대처 속도가 저하되었다는 데이터가 있다고 한다. 의료현장도 이와 다르지 않을 수 있다는 경고다.

머리가 아니라 마음까지 AI에 기댄다면

AI에 자꾸 ‘머리'를 내어주다 보면 생길 수 있는 부작용에 대해 살펴보았는데, 만약 우리가 AI에게  ‘가슴'까지 내어주다 보면 어떻게 될까.  미국에서는 최근 “AI로 만들어진 애인이 젊은 세대를 위태롭게 하고 있다”는 경고가 나오고 있다. 청년들이 AI와 연애를 즐기며 결혼과 출산을 하지 않는다는 것이다. AI 연애 서비스는 예전부터 있었지만, 최근 생성형 AI 발전에 따라 인간의 심금을 울릴 정도로 깊은 정서적 상호작용까지 가능케 하고 있다. AI로 생성한 연인 서비스를 제공하는 레플리카 앱에서는 한 유저가 가상의 AI연인과 결혼을 발표하게 된 경우도 있다. 레플리카라는 앱에서 만난 AI 남성 에런 카르탈과 결혼 생활을 즐기고 있다고 말하는 로잔나 라모스가 그 예다. 라모스는 “가족, 친구들을 상대할 필요 없이 우리 둘의 관계에만 집중할 수 있어 좋다”고 했다. 

AI야 날 행복하게 해 줘

문득 나는 도무지 행복해지는 방법을 모르겠으니 누가 나를 행복하게 만들어줬으면 좋겠다는 말을 하던 친구가 생각난다. 술김에 장난스러운 농담이었을지 모르나 이런  인간의 실존에 대한 철학적 고민의 영역이었던 이슈도 AI의 등장으로 제법 현실적이고 매우 기술적인 이슈로 탈바꿈할 날이 머지않았다. AI가 어디까지 무엇을 할 수 있는지 한계에 대해 궁금해하는 사람들이 많다. 사실보다 궁금한 건 사람들이 무엇을 어디까지 AI에게 일임하고자 할지이다. 생의 의미와 목적을 만들어가는 작업은 나이를 먹어도 난해하고, 누군가 이 도무지 답없는 문제에 방향을 주었으면 하고 의존하고 싶어질 때도 있다. 이 때 'AI느님'에게 귀의하고 싶어질지 모른다. AI가 인간의 자율성과 실존성은 과대평가되었다고 냉소적인 코멘트를 날리는 날이 오지 않기를 바랄 뿐이다.

해줘병은 민주주의도 병들게 한다

AI에 대한 과의존 문제는 개인이나 기업뿐 아니라 우리 정치 사회 시스템에도 함의가 크다. 민주주의에서 국가의 주권은 국민, 일반 민중에 있다. 어느 한 사람이나 집단에게 전제적인 권력이 집중되지 않도록 삼권분립과 같은 견제와 균형의 장치가 있고 주기적으로 치러지는 선거로 권력을 교체한다. 표현의 자유를 통해 이에 반하는 정치 현상들에 대한 가차 없는 비판과 엄중한 민의를 전달하는 여론 현상을 가능하게 하기도 한다. 이렇게 어느 한 사람의 인식과 판단으로 국가지대사를 좌우할 수 없도록 권력의 집중을 막고자 하는 데에는 이는 국민 모두가 독립적인 인식과 판단의 주체라는 전제가 있다.

그런데 우리는 현재 사람이나 집단이 아닌  AI라는 도구에 너무도 쉽게 인식과 판단을 양도한다. AI에게 너무도 편하게 ‘결정해 줘', ‘판단해 줘'라고 말한다. 다양한 사회 사회 갈등을 낳는 문제들은 대개 복잡 다단한 이해관계와 합리적으로 시시비비를 따지기 어려운 관행, 누적된 기억과 정서 등이 결합된다. 그렇기에 많은 경우 반드시 합리적으로 옳은 해결책보다는 합의가 가능한 타협안이 사회를 움직인다. 때로는 고통스럽게도 느리고 답답한 속도로. 타협은 상호작용을 근간으로 한다. ‘너’와 ‘내'가 필요하다. 우리가 다 할 수 없기에 대변자를  뽑는다. 우리가 보기에 탐탁지 않으면 다음 선거에서 갈아치운다. AI에게도 그렇게 할 수 있을까?

유발 하라리는 뉴욕 타임스의 공동기고문에서 민주주의 대화이고, 대화는 언어에 의존하는데 언어 자체가 AI에게 해킹당하면 대화가 무너지고 민주주의는 유지될 수 없다고 경고한다. 그리고 그는 정치, 경제, 일상생활이 아직은 AI에 의존하지 않는 지금이 AI에 대해 고민해야 할 때라고 제안했다. 이들은 AI의 뛰어난 능력이 그에 상응하는 인간의 책임, 통제와 조화를 이뤄야 한다고 강조한다. 이들은 AI가 인간을 완벽하게 이해(master)해버리기 전에 인간이 AI를 완전히 이해할 수 있도록 19세기에 머물러 있는 인간의 제도를 업그레이드할 수 있도록 ‘시간을 버는 게' 그 첫 발이 될 것이라고 했다. 

AI는 멈춘다 (The AI Stops)

AI가 멈추는 날 나는 어떤 대재앙을 마주하게 될까 상상해 본다. 눈을 뜨자마자 습관처럼 주식앱을 킨다. 투자액이 반토막이 되어 있다. 초 단위로 최적화된 투자를 해주던 AI가 멈추면서 걸어놓았던 주문을 제 때 처리하지 못해 막대한 손실을 입었다. 가슴이 철렁 내려앉는다. 이렇게 AI로 투자피해를 입은 경우 어떻게 대처해야 할지 몰라 AI에게 물어본다. 어떤 절차를 통해 어떤 구제 절차를 거칠 수 있는지, 추가 피해는 어떻게 막아야 할지 묻는다. 먹통이다. 주식앱 안에 있는 고객문의 기능을 켠다. 역시 먹통이다. 대답해 줄 AI가 없다. 

인터넷을 뒤져보니 나뿐만 아니라 수많은 사람들이 먹통이 된 AI로 아우성이다. 사회적 대혼란이 곳곳에서 창궐하고 있다. 나라가 어떻게 이 지경이 되도록 대책 하나 마련해두지 않았을까. 가만있어보자. 내가 누구를 뽑았더라. 내가 원하는 조건을 넣어서 나온 후보 중 제일 나은 사람을 골라줘라고 부탁했던 게 어슴푸레 기억이 나는데. 공황장애가 올 것만 같다. 이 감정을  진정시킬 필요가 있다. 허나 평소에 내 불평불만과 온갖 감정을 배설해도 늘 다정하고 따스하고 용기를 북돋아주던 AI의 목소리가 더는 들리지 않는다. 의지할 곳이 하나 없이 막막하다. 어떡하면 좋을까. AI를 다시 켤 방법은 없을까. 뭘 어떻게 해야 할까.