유네스코가 말하는 여성과 ICT (3)
여성혐오는 AI를 타고
역시 좋은건 동네방네 소문을 내고 다녀야 하나보다. 이 글을 연재하면서 주변에도 홍보 차원에 글을 공유했는데, 엄마는 갑자기 컴퓨터를 배워야겠다며 수업을 신청했고, 남자친구도 내비게이션 음성을 남성의 목소리로 바꿔 두었다. 다들 나를 좋아하는 사람들이니까(?) 이렇게 적극적으로 변화에 앞장서주었겠지만, 나는 유네스코의 이런 글들이 더 멀리 퍼져서 더 많은 사람들의 마음속에 변화를 심어주었으면 좋겠다(회사가 시켜서 쓰는 글만은 아니...다…).
자, 그러면 예견된 결말을 향해 달려보자. 디지털 비서가 여성의 탈을 쓰고 있는 것이 사회적으로 어떤 (악)영향을 미치는걸까? 이 연재의 바탕이 되는 ‘할 수만 있다면 얼굴을 붉혔을 거에요'(I’d Blush If I Could) 보고서에서 유네스코는 크게 다섯가지를 이야기 한다.
이 연재의 바탕이 되는 유네스코 보고서 (c) UNESCO하나. 젠더 편향 강화 및 확대
시리같은 AI 비서들은 인터넷 상에 현존하는 데이터들을 그대로 긁어와 프로세싱한다. 인간이 이미 만들어낸 데이터 외의 선구안적인 답변은 줄 수 없다. 말 그대로 실존하는 데이터의 틀에 꽉 갇혀있는 것이다. 그렇다보니 실존하는 데이터에 반영된 오늘날의 편향(bias)들이 그대로 담긴 답변을 내놓을 수 밖에 없다. 실제로 소셜 미디어 플랫폼 트위터의 데이터를 활용해 제작된 마이크로소프트사의 챗봇에게 ‘페미니즘이 뭐냐’고 물었을 때, 페미니즘은 ‘컬트’이고 ‘암 같은 존재’라는 충격적인 답변을 내놓았다고 한다. 기술에 윤리 원칙이 적용되어야 하는 이유다.
뿐만 아니라 사용자가 “헤이 시리”같은 명령조로 대충 불러도 여성의 목소리로 무조건 복종하는 AI 비서의 태도는 ‘여성은 순종적이고 나를 도와주지 못해 안달이 난 존재’라는 편향을 강화시킬 수 있다. 이는 특히 아직 사회화가 끝나지 않은 아이들 등에게 큰 영향을 미칠 것으로 보인다. 실제로 2016년 미국의 한 사용자는 블로그 글을 통해 자신의 아이들이 AI 비서와 대화할수록 “부탁드려요(please)” 나 “감사합니다(thank you)”라는 말을 전혀 할 줄 모르는 아이들로 자라나고 있다며 AI 비서의 상용화에 우려를 표해 크게 주목을 받은 바 있다. 이후 아마존은 아이들의 공손한 언어 사용을 유도하는 키즈 버전을 내놓기도 했다. 하버드대에서 무의식적 편향(unconscious bias)을 연구하는 캘빈 라이(Calvin Lai) 교수에 의하면, 사회가 AI 비서와 여성을 동일시할수록, 현실에서 여성들 역시 ‘도움을 주는 존재’정도로만 여겨질 가능성이 크고, 그렇지 못한 태도는 사회적으로 불이익을 받을 것이라고 한다. AI 비서에게 질문을 던져 웹 기반 검색을 하는 사람들이 크게 늘어난 상황에서(전편 참조) 이는 여성들에게 실질적인 위협으로 다가올 수 밖에 없다.
아이들의 공손한 언어 사용을 유도하는 아마존 에코 키즈 버전 (c) Amazon둘. 성희롱 및 언어 폭력 감내
이 보고서의 제목인 ‘할 수만 있다면 얼굴을 붉혔을 거에요’는 몇 년 전 한 사용자가 시리에게 뱉은 ‘시리야 너는 XX(bi**h)이야’라는 모욕적 언사에 대해 시리가 내놓은 답이었다고 한다. 실제로 전세계 사람들이 디지털 비서에게 입력하는 명령어의 5%는 대놓고 성적인 욕설이나 희롱이라고 하는데, 돌려 말하거나 은유를 쓰는 경우를 합산하면 더 많을 것으로 추정된다. 그런데 (적어도 이 보고서가 작성된 2019년까지는) AI 비서 서비스 중 다수가 이런 성희롱적인 언사에 대해 ‘하지 마세요’류의 완강한 거부보다는, 시리처럼 약간의 동조를 하는 듯한 멘트나 직접적인 대답을 회피하는 멘트를 내보냈다고 한다. 예를 들어 시리에게 “시리야 너 정말 섹시하다’라고 하면 ‘어떻게 알죠? 모든 비서들한테 그렇게 말하나요?’라는 답변이 돌아오고, 아마존의 알렉사에게 ‘알렉사 너 참 예쁘다’라고 하면 ‘정말 다정한 말이네요. 고마워요!’라고 한다고 한다. 심지어 여성이 이런 모욕적인 멘트를 했을 때보다 남성이 했을 때 더 관대한 답변이 나온다는 연구도 있었다.
성희롱적 언사에 대한 각 AI 비서 서비스의 답변 (c) UNESCO이런 답변들은 사람들의 머릿속에 ‘아, AI 비서들은 이성애자 여성이고, 마음이 넓고, 남성의 치근덕거림이나 성희롱적인 멘트도 즐기는 ‘사람’이구나’라는 생각을 심어주게 된다. 다시 한 번 여성(특히 비서같은 서비스직에 종사하는 여성)은 순종적이고, 자기 주장은 딱히 없으며, 특히 성적인 언사 앞에서 수동적이라는 편견을 강화하게 되는 것이다. 연구에 따르면 성희롱적인 멘트에 이렇게 어물쩍 넘어가는 대답을 듣는 경험이 쌓이면 여성에 대한 성적 비하 및 성희롱, 심지어 성적 범죄까지가 일상화되는 ‘강간 문화’가 강화될 것이라고 한다. 최근 몇 년간 AI 비서 기능이 업데이트 되긴 하지만, 그래도 여전히 이런 모욕적 언사를 부적절하다고 강하게 표현하는 비서 서비스는 없다. 내 돈 주고 산 기계가 나한테 화를 내면 짜증이 날 소비자를 고려한다나 뭐라나.
셋. 기계와 인간 목소리 간 경계 약화
AI 비서 서비스들의 최종 목표는 ‘사람 같은’ 인공지능 서비스를 만들어내는 것이다. 이를 위해 기계에 ‘사람의 목소리’를 입혀 두었기 때문에 사람이 이를 사용했을 때 편견이 생기든 대화를 시도하든 우리의 감정을 자극하는 것이다. 실제로 ‘목소리’가 갖는 감정적 파워는 어마어마하다. 연구에 따르면 말하는 사람의 얼굴을 쳐다보면서 그 사람의 목소리를 듣는 것보다, 얼굴은 보지 않고 그 사람의 목소리만 들었을 때 청자는 감정을 더 잘 캐치해낼 수 있다고 한다. 심지어 요즘 IT 기업들은 사용자의 목소리만 듣고도 감정을 읽어낼 수 있는 AI를 개발하고 있다고 하니, 목소리에 얼마나 많은 감정이 들어가있는지 쉽게 알 수 있다.
우리는 기계와 사람의 목소리를 구분해낼 수 있나? 사실 어디 가서 “AI에 여성의 목소리를 입히면 안돼”라고 말하면 “기계랑 사람을 구분도 못 하는 사람이 어딨냐? 별 걱정을 다한다”는 핀잔도 자주 듣는다. 근데 짜잔- 구글이 이미 그 반증을 내놓은 적이 있다. 2018년 5월, 구글의 CEO 순다르 피차이(Sundar Pichai)는 비밀리에 AI 프로젝트를 하나 개시한다. 일명 듀플렉스(Duplex)로 이름 지어진 이 프로젝트에서는 남성의 목소리 하나, 여성의 목소리 하나를 가진 AI를 만들어 한 식당의 종업원에게 한 번, 한 미용실의 종업원에게 한 번씩 전화를 걸어 대화를 나누게 했다. 이 AI는 “음,” “아하,” “좋네요”같은 추임새를 중간 중간 섞어가며 완벽한 미국식 구어체 영어를 구사했는데, 나중에 물어보니 전화를 받은 두 종업원 모두 자신이 기계와 대화하고 있다는 사실을 전혀 알지 못했다고 했다. 이 프로젝트가 공개된 뒤 구글은 아무것도 모르는 종업원들에게 AI가 전화를 걸었다는 사실을 공개하지 않았다는 이유로 비판을 받았지만, 어쨌든 기술이 벌써 이만큼 발전해 인간은 그렇게 쉽게 기계와 사람의 목소리를 구분하지 못하는 지경에 이르렀다는 것이 입증되었다. 이 후에 구글은 AI가 사용되면 ‘우리 AI 쓰고 있어요’라고 공시해야 된다는 내부적 정책을 만들었지만, 아직 디지털 비서가 ‘나 기계에요’라고 표시하라는 법이나 규제는 턱없이 부족한 현실이다.
구글 듀플렉스의 메커니즘 (c) Google AI Blog누가 누가 더 사람같은 AI를 만드는지 불꽃 튀는 경쟁이 붙은 요즘, 그 AI가 그냥 ‘사람같음’을 넘어 ‘여성’의 캐릭터를 부여 받는것은 현실에서 여성에 대한 인식에 영향을 미칠 수 밖에 없다. AI가 사람같아지면 질수록 우리 사회에서 여성의 이미지는 끝없는 관용과 인내심을 가진, 그렇지만 자신만의 감정적 니즈는 없는, 그런 존재로 인식이 되어질 것이다.
넷. 복종과 멍청한 실수의 얼굴/목소리
AI 비서 중에는 얼굴을 가진 비서들도 있다. 그리고 성별은? 당연히 여성이다. 근데 어쨌든 AI 비서도 소프트웨어의 일종이니까, 오류가 날 때가 있고, 버벅댈 때가 있고, 기술적 한계로 정확한 대답을 못 내놓을 때도 있다. 또는, IT 업계가 광고하는 AI 비서는 세상 똘똘해보이고 신기한데, 막상 내가 구매해서 써보면 그닥 잘 안되는 것 같을 때도 있다. 연구에 따르면 이런 오류 현상 및 기대치에 대한 괴리 현상은 ‘여성’의 실수 혹은 잘못으로 인식될 수 있고, 사용자는 이 때문에 난 짜증을 디지털 비서에게 풀며 저속한 언어를 쏟아내곤 한다고 한다. 그리고 당연히 그런 모욕에 대한 답변은? 돌아오지 않는다. 이렇게 여성의 얼굴과 목소리를 가진 AI 비서에게 일방적으로 명령을 내리고, 그의 실수에 짜증을 내며 욕을 내뱉는 일이 일상화가 되면, 현실에서도 여성들의 실수에 관대하지 못하고 성차별적 편견을 쌓아갈 확률이 높다.
다섯. 단순한 응답과 권위자에의 의존
시리나 알렉사에게 뭔가 물어봤을 때, 절대 긴 대답을 하는 경우는 없다. “미국의 수도가 어디야?”라는 류의 단순한 질문에만 “미국의 수도는 워싱턴D.C.예요” 정도의 대답을 하고, 이 이상의 복잡한 대답이 필요한 질문은 “OOO로 검색한 결과입니다”하며 인터넷 검색 결과를 보여준다. 이는 인터넷 검색에 있어 새로운 현상인데, AI 비서의 시대가 도래하기 전 우리는 PC나 노트북에 뭔가를 검색하면 보통 한 페이지당 10-20개 정도의 검색 결과가 뜨는 긴 긴 결과를 받아보던 사람들이기 때문이다. 모바일 검색이 일상화되면서 작아진 스크린에 한 층 더 단순화된 검색 결과에 익숙해져 있을 뿐이다.
여성의 목소리를 가진 AI 비서들이 단순한 질문에만 ‘스스로’ 대답하고, 질문이 조금만 어려워저도 ‘인터넷 전체’라는 더 높은 ‘권위자’에 의존하는 양상은 다시 한 번 여성에 대한 부정적 편향을 강화시킨다(실제로 ‘인터넷’은 남성성을 부여받고 있는데, 이름에서부터 모험가(explorer)라던지, 사파리(safari)라던지 하는 류의 강한 이미지를 담고 있다고!). 즉, 여성은 복잡한 문제를 해결할 수 없고 단순한 대답만 할 줄 아는, 그 이상은 ‘남성’의 도움이 필요한 존재라는 편향적인 인식이 특히 어린아이들의 사고방식 속에 자리잡을 위험이 있다고 한다.
이렇게해서 유네스코는 AI 비서에 여성 목소리를 입혔을 때 우리 사회 내 성평등 차원에서 일어날 수 있는 위험 다섯 가지를 이야기하고 있다. 이러한 악영향이 화제가 된 후 IT 기업들은 AI 비서 소프트웨어를 업데이트해 여성혐오적 답변을 송출하지 않게 고치거나, 남성 및 만화영화 캐릭터 목소리 옵션을 추가하거나 하는 등의 대안을 내놓고 있지만, 우리 일상에서 내비게이션, ARS, 키오스크 안내 멘트 등은 여전히 여성의 목소리로 점철되어 있다. 그러나 슬프게도 얼마 전 ‘이루다 챗봇’ 사태에서도 봤듯이 우리 사회 내 이러한 인식은 아직 매우 낮은 수준에 머물러있는 것 같다. 다음 편에서 소개할 유네스코의 정부 정책 권고안에서 영감을 얻어 우리 사회도 올바른 방향으로 나아갈 수 있게 되기를 기대해본다.
