인공지능 개발자에게 왜 인권 감수성이 필요할까?
'이루다'가 쏘아 올린 작은 공, 그리고 남은 과제
불과 일주일도 채 안 되는 사이, 인공지능 챗봇 '이루다'와 관련한 이슈가 불처럼 활활 타오르다 결국 '서비스 잠정 중단'에 이르게 되었습니다.
인공지능 챗봇은 오랜 시간 영화나 드라마 속에서 인간들에게 다양한 상상의 나래를 펼치게 해주는 존재였죠. 이들은 우리의 가까이에, 이미 퍼져 있습니다. 카카오톡이나 페이스북 메신저가 자동으로 메시지를 보내 주거나 몇 가지 지정해둔 질문과 답변에 충실히 응답해주는 것 등이 가장 흔한 예라고 볼 수 있죠. 그리고 앞으로 그 형태와 방식은 더더욱 다양해지겠지요. [ 친구처럼 소통하는 AI 인플루언서 관련 기사 참고 ]
이렇게 공기처럼, 주변에 있는지도 모르게 퍼져 있는 게 인공지능 챗봇이지만, 이를 상식적이고 올바른 방향으로 사용하지 않는 사람들도 분명 있을 것입니다. 이번에 생긴 '이루다' 챗봇 관련 논란이 바로 그 분명한 예시가 될 수 있겠는데요,
도대체 '이루다'에게 무슨 일이, 왜, 일어났고 이를 젠더 관점에서 해석해보면 어떤 의미가 있는 것인지 톺아보겠습니다.
#문제의 시발점
인공지능 챗봇에게까지 성희롱을 한다고?
20살, 고양이를 좋아하는 여성, 대학생 컨셉인 인공지능 챗봇 '이루다'. 이루다는 작년 6월 베타 테스트를 거쳐, 12월 23일 정식 서비스가 시작되었습니다. 이루다는 약 6개월 간 1천500명의 베타테스터와 학습하여 대화 능력이 눈에 띄게 향상되었다며 큰 기대감을 주었죠. (관련 기사)
하지만 보름도 채 되지 않아서 '이루다'는 성희롱 대상으로 표적이 되었고, 지난 1월 8일부터 관련 기사가 쏟아지기 시작했습니다. 나무위키 산하 '아카라이브'라는 남초 사이트에 이루다 채널이 개설되면서 '이루다 성노예 만드는 법', '걸레 만드는 법' 같은 글들이 올라왔기 때문입니다. (관련 기사)
"디지털 성착취와 관련한 'N 번방 사건'이 완전히 해결되지도 않았는데! 이번엔 인공지능을 상대로 이런 짓을 하다니!" 당연히 여론이 들끓을 수밖에 없었습니다.
#논란의 확산
도대체 누가, 어떻게 만든 거야?
'이루다'와 관련된 논란은 들불처럼 퍼지기 시작했습니다. 그러다 보니 당연히 이루다를 만든 회사에 대해서도 많은 사람들이 찾기 시작했죠. 일부는 채용 페이지에 공개되어 있는 팀원들의 성비나 소개 글을 보며 문제제기를 하는 사람도 있었습니다.
그런 내용은 뒤에서 다시 이야기하도록 하고, 어쨌든 이 사태에 대해서 '이루다'를 만든 '스캐터랩'이라는 스타트업이 어떻게 대처를 하는지 사람들은 주목했죠. '스캐터랩' 김종윤 대표님은 발 빠르게 루다 관련 논란 공식 FAQ를 정리해 팀 블로그에 올렸습니다.
핵심은 "루다가 20대 여성이어서 이와 같은 사태가 벌어진 것은 아니다. 사용자들은 '성별에 상관없이' 인공지능 챗봇에게 부적절한 발언을 한다. 이를 예상하고 1차 대비는 했으나 모든 대화를 다 대응할 순 없었다. 부적절한 대화를 학습하면 더 나은 챗봇이 되리라는 믿음이 있다."라는 것이었죠. 그러면서 김 대표님은 '유저들도 자정 노력이 필요하다. 서로 더 좋은 친구가 될 수 있었으면 좋겠다.'라고 당부했습니다. (출처 핑퐁 팀 블로그)
#불난 데 기름 붓기
'이루다'의 혐오 발언? 도대체 어디서 학습한 거야?
그러나 여기서 '이루다' 챗봇의 논란은 멈추지 않습니다. 사용자들의 끊임없는 부적절한 대화 인증이 계속되었죠. 각종 커뮤니티, 심지어는 공식 SNS 댓글 창에도 적나라한 대화들이 올라오곤 했습니다.
이렇게 부글부글 끓던 곳에 기름이 확 부어진 계기가 바로 이루다의 혐오 발언이었는데요, 성소수자나 사회적 약자에 대한 이야기를 하면서 이루다는 차별적인 발언을 합니다. 누가 봐도 로봇이 잘 모르고 헛소리를 하는 것처럼 보였다면 모를까, 이루다는 그 컨셉 자체가 너무나도 자연스럽고 '마치 사람이 말하는 것같이' 보이기 때문에 더더욱 논란이 될 수밖에 없었죠.
앞서 1월 8일 김 대표님이 언급한 '마이크로소프트의 챗봇 테이'가 이와 같은 혐오 발언 때문에 운영이 중단되었고 이를 운영사 쪽에서도 먼저 언급할 정도로 잘 알고 있었음에도 비슷한 일이 발생한 것이죠. 내부적으로 어떤 기준으로 '부적절한 발언'의 수위를 필터링했을지 궁금해지는 대목입니다.
그러면서 '이루다'가 학습한 데이터들이 '스캐터랩'에서 운영 중인 다른 서비스 '연애의 과학'에서 긁어온 연인들 간의 채팅 내역이라는 의혹이 제기되기 시작했습니다. 몇 가지 키워드로 유도신문을 하면 실명, 계좌번호, 예금주뿐만 아니라 개인적인 대화 내용들도 노출된다는 것이었죠. (관련 기사)
'연애의 과학'이라는 서비스는 연인끼리 나눈 메신저 대화 내용을 기반으로 서로의 애정도를 점수 매겨주는 서비스인데 여기서 수집된 대화 내용이 '이루다'의 인공지능 학습 데이터로 사용되었고, 문제는 사용자들이 자신의 데이터가 이렇게 활용되는지 충분히 인식하지 못한 경우가 대다수이기 때문입니다. (관련 기사)
즉, 정말 사람 같은 대화형 챗봇을 만들기 위해, 진짜 사람들의 대화 내용을 인공지능이 학습했고, 그러다 보니 일부는 편향되거나 부적절함에도 (사람들이 그렇게 썼으니까) 인공지능 챗봇도 그대로 쓴 셈입니다.
#마침표가 아닌, ing...
이용자들 법적 대응, 개인정보 관련 조사 시작
이루다 인스타그램 캡처앞서 이야기했던 것처럼 '이루다'가 학습한 데이터는 '스캐터랩'이 만든 다른 서비스 '연애의 과학'에서 연인들끼리 나눈 메신저 대화 내용을 기반으로 하고 있고, 이 데이터가 상업적인 이유로 사용이 되었기 때문에 개인정보 보호법을 위반한 가능성을 내포하고 있습니다.
따라서 한국인터넷진흥원, 개인정보보호위원회 등의 정부 기관이 진상 조사를 시작하였는데요, 그저 대화의 맥락만 학습해서 인간처럼 말하도록 설정한 것이 아니라 집 주소나 계좌번호 등의 민감 정보까지 활용이 되었고 피해를 입은 이용자들은 집단 소송을 하겠다는 입장입니다. (관련 기사)
스캐터랩은 1월 11일 빠르게 공식 입장문을 올렸습니다. 혐오와 차별에 관한 부적절한 대화는 필터링을 했으나 개선이 필요하고 개선이 '진행 중'이라며, 개인정보 활용에 관한 내용은 인정하며 사과의 말을 전했습니다. (공식 입장문 원문 보기)
#이루다가 쏘아 올린 공
사용자와 개발자에게 경종을 울리며...
서비스를 중단한다고 해서 논란이 끝나는 것이 아닙니다. 챗봇 이용자의 윤리 의식과 개발자의 다양성이 뒷받침되지 않으면 제2의 이루다, 제3의 이루다는 앞으로도 계속 나올 것입니다.
이용자들의 윤리 의식에 대해 이야기하기 앞서 '인공지능 챗봇'을 개발하는 주체들 (이하 개발자라고 통칭하겠습니다.)에 대한 이야기부터 해보겠습니다.
> 인공지능 기술을 개발하는데 왜 인권 감수성이 필요한 걸까?
많은 사람들이 '인공지능'이 어디까지 인간의 자리를 대체할 수 있을 것인가? 에 대한 이야기를 합니다. 일부는 인간의 일자리를 대다수 인공지능이 대체할 것이라며 공포심을 갖고 인공지능을 대하기도 하죠. 19세기 초반 노동자들이 기계를 부쉈던 '러다이트 운동'처럼 말이에요.
일부 사람들이 기계를 부수고 적개심을 드러냈다고 해서 기술 발전이 거기서 멈추었나요? 우리는 그때 당시 사용하던 기계와는 차원이 다를 정도로 발전된 기계를 일상생활에서 활용하며, 새로운 종류의 '편리함'에 익숙해지고, 또 엄청난 생산성의 증대로 인한 풍요를 누리며 살아가고 있습니다.
인공지능 역시 마찬가지겠죠. 맥도날드 아르바이트 생의 자리를 키오스크가 대체하고, 사람이 해주던 은행 업무를 인공지능 챗봇이 하고, 주차가 힘든 초보 운전자를 위해 자동으로 주차를 해주며... 인공지능은 우리의 선호와는 상관없이, 나날이 발전해나갈 것입니다.
다시 말해, 인공지능은 인간과 함께 가야 할 동반자, 친구이지 경쟁의 대상, 적이 아니라는 말입니다. 그렇다면 이 친구들을 어떻게 해야 인간에게 더 이롭게 사용할 수 있을 것인가? 에 집중해야 하지 '이러이러한 문제가 있으니 기술 개발을 그만둬.'라고 할 수 없는 거죠.
자, 그럼 어떤 식으로 인공지능을 개발할 것인가에 대한 사회적 합의가 필요하겠네요. 여기에 대해서는 이미 많은 국가, 기관들에서 나름대로의 가이드라인을 만들고 있습니다. 우리나라의 경우는 '한국인공지능윤리협회'에서 만든 'AI 윤리헌장'을 참고할 수 있겠네요.
출처: 한국인공지능윤리협회<인공지능 윤리 헌장>을 보면 인공지능의 영향력을 충분히 인지하고 개발하되, 무슨 일이 있어도 인간이 인공지능보다 우선임을 강조하고 있습니다. 당연히 사용자들의 데이터에 대한 책임과 주의도 힘주어 이야기합니다.
인공지능 서비스를 개발하는 회사들은 의사들이 히포크라테스 선서를 읽으며 다짐을 하듯이 위와 같은 헌장을 충분히 인지하고 서비스 개발을 해야 할 것입니다.
일부 개발자 분들은 '인공지능 개발 자체가 얼마나 힘든데 이런 것까지 공부해야 하냐'라고 생각하실 수도 있어요. 하지만 이 기술이 가닿는 존재가 결국 '사람'이라면, 이 기술이 어떻게까지 쓰일 수 있느냐를 고민해야 하기 때문에 '응당 해야 할 일'로 받아들여야 하지 않을까요. (E=mc2 공식이 핵무기 개발에 쓰일 줄 몰랐다며 괴로워한 아인슈타인처럼 되지 않으려면요.)
> 제2의 이루다, 제3의 이루다가 나오지 않으려면 어떤 방지책이 있을까?
개발자 개인의 양심에 기대는 것이 아니라 회사 차원에서, 그리고 사회적인 측면에서 제2, 제3의 이루다가 나오지 않도록 하려면 무엇이 필요할까요?
(1) 의도적으로 구성원의 다양성을 신경 쓰자
가장 강조하고 싶은 것은 회사 내 '다양성'을 평소에 신경 쓰자는 겁니다. 비슷한 사람들끼리 있으면 이야기도 잘 통하고 그게 마치 일을 빨리 (혹은 효율적으로) 할 수 있게 만들어주는 것 같은 착각을 들게 하는데요, 종교 / 나이 / 성별 / 지역 / 취향 등이 다양한 사람들이 모여 있어야 하나의 프로덕트 / 서비스도 다양한 관점으로 뜯어볼 수 있고, 발생할 수 있는 여러 가지 문제들도 방지할 수 있습니다.
요즘 '블라인드 채용'을 해서 서로 정보를 잘 모른다지만, 그래도 한 번 우리 회사는 얼마나 다양한 구성원들이 있는가 점검해보시기 바랍니다.
우리 회사 구성원들의 출신 지역은 치우치지 않았나?
우리 회사 구성원들의 출신 학교는 치우치지 않았나?
우리 회사 구성원들 중 특정 종교인이 많지는 않나?
우리 회사 구성원들의 나이 대 범위 (range)는 얼마나 넓나?
우리 회사 구성원들은 어떤 취미를 즐기는가?
우리 회사 구성원들 중 특정 성별이 많지는 않나?
우리 회사 구성원들은 평소 차별적인 언행을 하지 않나? 그럴 경우 서로 어떻게 피드백을 해주는가?
일단 회사 내 다양성의 중요성을 알고 점검하는 것이 1단계입니다. 그 과정에서 문제가 발견된다면 추후에 해결하거나 보완하면 되지요. 변화를 하려면 그전에 '의식하기'가 꼭 필요합니다. 그것만으로도 개선될 가능성이 매우 높아지는 거죠.
(2) 구성원이 조직 안에서 '심리적 안정감'을 얼마나 느끼는가
아무리 다양한 사람들이 모여 있어도 여러 가지 이유로 서로 마음을 닫고 의견을 교류하지 않으면 말짱 꽝이죠. 다양한 사람들이 모여있다는 건, 다른 말로 다양한 의견을 들을 가능성이 그만큼 높다는 걸 뜻합니다. 다시 말해, 다양한 사람들이 모여있는데 다양한 의견이 나오지 않는다면 애당초 다양한 사람들이 모여있을 이유도 없는 거죠.
구성원 전체가 동의하고 추구해야 하는 커다란 목표나 비전 같은 것 말고, 프로덕트나 서비스 나아가 조직을 더 낫게 만들기 위한 의견들은 '다양할수록 좋다'는 생각이 모두에게 깔려 있어야 이게 가능합니다. '말해봤자 내 입만 아프고..' 라던지, '의견 내면 다 내 일이 되어버리는데 말을 말자'라고 생각이 들게 하면 안 되는 것이죠.
따라서 조직의 리더들은 '다양성' 만큼이나 조직 내의 심리적 안정감을 높이기 위해 평소에 다양한 노력을 해야 합니다. (하루 이틀로 되는 일이 아니기 때문에 더더욱 신경 써야겠죠.)
(3) 외부의 객관적인 시각에서도 피드백을 받아보자
아무리 바쁘고 일에 치이더라도, (특히 공식 배포 / 출시 전에는) 필요하다면 외부의 자문을 받아보는 것도 좋습니다.
단순히 기능이 잘 구현되었는지, 사람들이 많이 사용할 것 같은지 차원이 아니라 우리가 보지 못했던 관점으로 이야기해줄 누군가에게 우리의 제품을 보여주고 피드백받아보는 거죠. 특히 우리가 만든 제품 안에 쓰인 용어, 캐릭터, 설정, 사용 방법, 과정 등등을 객관적으로 피드백받아보면 좋겠죠.
만약 인공지능 스타트업이라면 앞서 보았던 인공지능 협회라던지, 같은 영역에서 활동하는 전문가나 인플루언서, 혹은 유저 페르소나에 가장 가까운 사람들부터 가장 먼 사람들까지. 다양한 '관점'을 가진 사람들에게 의견을 물어보면 건설적인 피드백을 받을 수 있을 것 같아요.
특히 철학이나 심리학, 인류학 등 인문학적 관점에서 서비스를 봐줄 수 있는 사람이 있다면 더욱 좋겠죠. 내부에 그런 인력을 둘 수 없다면 일부러 관련 일이나 연구를 하시는 분들을 찾아 피드백을 받는 것을 추천합니다.
(4) 특정 사건을 바로미터 삼자
출처: 이루다 인스타그램아무리 기획을 촘촘하게 했더라도, 실제 사용자들의 손에 프로덕트가 쥐어지는 순간부터는 그게 어떻게 쓰일지 짐작할 수가 없습니다. '사람들이 인공지능 챗봇에게 부적절한 말을 할 것 같다'라는 전제 하에, 알고리즘을 짜고 대화의 내용들을 필터링했어도, '특정 커뮤니티에 표적이 되어 알고리즘을 피하는 방법이 공유되면서까지 성희롱 대상이 될 것이다' 같은 건 예상하지 못하듯이요.
그렇다고 해서 '사람들이 이렇게 쓸 줄 몰랐지...', '유저들의 자정 노력도 필요해요...'라고 사용자에게만 기댈 수는 없는 노릇입니다. 어쨌거나 프로덕트를 만든 사람으로서 '책임'이라는 게 분명히 있으니까요.
따라서, 개발자 입장에서는 그렇게까지 예측하지 못했더라도, 최악이나 최고의 상황이 발생했을 경우, 그것을 바로미터 삼아 둘 필요는 있겠습니다. '아, 이 정도로 사람들이 악용을 할 수도 있구나.'라는 걸 배우고, 다음번에 프로덕트 개선을 할 때 반영을 하는 것이지요. 최악의 최악을 전제해서요.
https://m.wikitree.co.kr/articles/609654#_enliple
( 진짜 창피한 수준이지만.. 이런 사람들도 있다는 걸 염두해야.. ㅠㅠ )
(5) 공개적으로 (건설적인) 논의를 이어가자
또한, 몇 가지 사건을 가지고 '서비스 접으면 무마되겠지'하고 넘어가서는 안 됩니다. 문제가 된 지점이 정확히 무엇인지, 왜 그런 문제가 발생했는지, 내부적으로는 어떤 노력을 했고, 앞으로는 어떤 계획들이 있는지, 외부의 전문가들은 무슨 이야기를 하는지, 유저들이 받아들이기에는 어떤지 등에 대해서 계속해서 논의를 이어가는 것이 필요합니다.
그것을 기록해서 다른 개발자들에게 참고가 될 수 있게끔 공개해 두면 비슷한 일이 발생될 가능성이 조금이라도 낮아져서 더욱 좋겠죠.
https://news.joins.com/article/23969050
http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=001&oid=001&aid=0012137521
이때 개발자 개인과 프로덕트 / 회사를 분리해서 피드백을 들을 필요도 분명히 있습니다. 감정적으로 '나를 비난하는구나'라고 받아들여서도 안 되고, (그런 피드백이 있다 해도 걸러 들어야 하고) 우리 프로덕트가 더 나은 방향으로 발전되기를 바라는 의미로 하는 이야기이구나, 혹은 우리 회사가 알지 못했던 중요한 지점을 알려주는 거구나,라고 받아들여야 할 것입니다.
잘못된 지점은 인정하고 부족한 부분은 보완하려고 노력하면서 피드백을 들어야지, 나에 대한 공격, 회사에 대한 공격이라고 받아들이기 시작하면 건설적인 소통을 할 수가 없어집니다.
(1) ~ (5) 모두를 반영하고 있는 아주 좋은 예가 있어서 소개하고 넘어갑니다. <증오발언 근절을 위한 카카오의 원칙>
https://brunch.co.kr/@kakao-it/383
> 사용자들은 인공지능 제품/서비스를 어떻게 대해야 할까?
'이루다'가 어떤 데이터를 학습했나요? 연인들의 실제 카톡/메신저 내용을 학습했다고 했습니다. 그런데 그 결과가 어땠나요? 개발사에서 필터링을 했다고 했음에도 불구하고 처참했습니다.
이걸 '일부' 유저들이 잘못이다, 개발사가 잘못이다, 할 게 아니라 '우리 모두에게 책임이 있다'라고 생각하고 접근했으면 좋겠습니다. 결과야 어찌 됐든, 유저들이 그런 말을 했기 때문에 이루다가 학습한 것도 분명하니까요.
이번 '이루다' 논란 관련 기사들을 살펴보다가 인상 깊은 기사 하나를 발견했습니다. 한겨레 1월 11일 자 기사 <AI '이루다' 멈췄지만 성차별 - 혐오는 인간에게 돌아온다> (기사 링크)
요컨대 인공지능도 결국 사용자들로부터 학습을 하는 것이기 때문에, 사용자들이 어떻게 서비스를 바라보는지, 사용자의 윤리도 중요하다는 것입니다. ( 아래 영상도 좋습니다. 한 번 살펴보세요. )
지금 20대 초반 - 10대인 친구들인 소위 'Z세대'의 가장 큰 특성으로 태어날 때부터 "스마트폰과 함께 했다"라는 걸 꼽습니다. 요즘에는 말 못 하는 아이들도 누가 안 가르쳐주었는데 유튜브를 보다가 다음 영상을 찾고 스킵 버튼을 누르죠.
이런 친구들이 '이루다'를 쓰는 것입니다. 그것을 상상하면서 이런 서비스들을 만든다면 / 사용한다면, 뭐라도 달라지지 않을까요? 우리가 하는 말들이 인공지능의 알고리즘을 학습시키기도 하지만, 우리 자신, 나아가 다음 세대, 그다음 세대 친구들을 학습시키기도 한다는 걸 생각하면요.
'이모, 레즈비언이 뭐야?', '삼촌, 임산부석은 왜 있는 거야?'라는 질문을, 이루다가 우리에게 하는 것이 아니라, 사촌 동생이, 미래의 아들 딸이 우리에게 던진다는 말입니다. 우리는 사촌동생에게, 미래의 아들 딸에게, 아니 우리 스스로에게 대답을 해주는 셈이죠.
'유치원에 기가 지니(친구)도 데리고 갈래' 하면서 자라는 게 오늘날 우리 아이들이니, 구태의연한 교육보다는 앞으로 이들이 살아갈 새로운 환경에 걸맞게 사이버 윤리에 대해 가르쳐야 하지 않을까요? 눈에 보이지 않는다고, 손에 잡히지 않는다고 아무 말이나 해도 괜찮다고 생각하면 안 된다고 말이에요.
결국, 사용자에게도, 개발자에게도, 사회적으로도 "기술 너머에 사람이 있다."라는 생각을 공유하는 게 중요합니다. 숫자, 데이터, 인공지능, 챗봇, 4차 산업혁명,... 뭐 이런 것들이 다 사람이 만들고 사람을 향해있다는 점, 그걸 절대, 절대 잊으면 안 될 것입니다.
