AI 윤리인식과 이루다
그래서 도대체 뭐가 문제인데라고 생각하는 사람들에게.
***주의 위험 **** 페미니즘을 다룹니다. 보기 싫으시면 뒤로 가기를 눌러주세요.
"이루다는 기계입니다. 기계에게 사람과 같은 인권을 보장할 수는 없지요. "
이루다는 20대 여성의 성격을 지닌 챗봇으로, 사람들이 "개발"한 기계 혹은 누군가는 그저 코드 덩어리일 뿐인데 거기에 왜 감정을 쏟는지 잘 모르겠습니다. 이루다는 그냥, 아직 데이터가 부족한 초기 개발형의 챗봇으로 그걸 개발한 사람들은 아무런 잘못이 없습니다. 개발자들에게 책임을 물을 수는 없습니다.
AI 챗봇은 결국 개발자들이 피딩한 데이터셋을 바탕으로, 그저 학습하는 것 뿐인데
왜 도대체 이러한 챗봇에 감정을 느끼고 인권을 운운하는지 잘 모르겠습니다.
일단 이번 이루다 챗봇 논란은 분명 애초에 학습된 데이터들에 대한 문제가 있음을 밝히고 싶습니다. 개인정보의 유출 및 특정 대상을 알릴 수 있는 그러한 데이터 혹은 애초에 정확하게 허가되지 않은 데이터를 학습에 이용해야하는지에 대해서는 다루지 않겠습니다.
이번 글은 조금 더 사회적인 현상과 왜 여태껏 다른 챗봇들 (i.e 심심이)들도 많았는데 특별히 "이루다"에 대해서만 이런 윤리 인식 문제나, 젠더, 혹은 동성애 혐오 발언 등의 논란이 생기는가에 대한 개인적인 의견을 적어보았습니다.
일단. 사회적 현상과 이번 AI 챗봇이 가지는 특별함을 조금 말해보고 싶습니다.
1. 이루다는 도대체 무엇인가.
(공식 사이트: https://luda.ai/faq, 개발 블로그 https://blog.pingpong.us/ranker-model/)
"루다는 페이스북 메신저를 통해 대화 가능한 AI 챗봇이에요. 사람 같은 컨셉의 AI이기 때문에 루다의 행동들이 최대한 사람을 닮도록 개발했어요(선페메, 오타 등)."
"이루다는 일상대화 AI(Open-domain Conversational AI)로 아직 지식 체계가 완벽하지 않은 AI예요. 대화형 AI로 이전 문맥을 보고 가장 적절한 답변을 계산해서 제공하며, 딥러닝 알고리즘으로 만들어졌기 때문에 답변을 완벽하게 통제하기 어렵습니다. 특히 이전 문맥을 기반으로 답변을 계산하기 때문에 이전 대화에 비속어나 공격적인 말이 있다면 루다가 부정적인 답변을 할 가능성이 높아집니다. 부정적인 경험을 야기하는 부분에 대해서는 최대한 신경써서 알고리즘 업데이트를 진행할 계획입니다."
대화형 AI 로, 사람과 같은 컨셉을 하고 있으며 딥러닝 알고리즘을 통해 개발자들이 답변을 완벽하게 통제하는 것은 불가능. 아직까지는 미숙한 상태이며 답변에 사람이 직접 개입하는 것은 아님.
일단, 20대 여성이라는 페르소나를 가진 AI 챗봇이라는 정의에서부터 출발해보자. 이러한 페르소나를 가진 AI 챗봇은, 단순히 코드 덩어리로 정의 되어서는 안된다. 그렇다면, 리얼돌은 그저 모형 덩어리일뿐인데 왜 논란이 되었으며 왜 사회적으로 문제가 되었는가? 애초에 누군가에게 사람이 지니는 그런 사회적인 속성을 정의하는 순간, 사회적인 문제가 되어야 한다.
사람들이 말하는 "아니 그래서 여기에 왜 페미니즘을 끌고 오는건데. 이게 애초에 젠더 문제야?"에 대한 질문의 답으로는 "그렇다. 젠더적 성향이 들어가있으니 당연한 거다." 가 나의 답이다. AI 를 상대로 성희롱이라는 것을 정의 내릴 수 없다는 말은, 이러한 사회적인 성향을 아예 배제하고 생각한 것이라고 생각한다. 그리고 이번 "이루다"에 대해서는 더더욱이나 개발자와 유저(사용자) 양측의 책임이 있다고 생각한다.
AI ethics (윤리인식)의 가장 대표적인 예로는 인종차별이나 혹은 요즘 떠오르는 AI 면접에서 나올 수 있는 데이터 셋의 불평등을 가장 먼저 떠올릴 수 있다. 애초에 20대 여성의 페르소나를 만들기 위해서, 애교나 다양한 말투를 선정한것에서 의문을 제기해야한다. 정말로 20대 여성들은 저런 말투를 사용하는가?
"이루다"는 어떠한 편견(bias) 혹은 선입견을 만들어 내고 있지는 않은가? 애초에 외로움을 덜어주기 위한 컵셉이니까, 저런 친근한 이미지를 가지기 위해서 "이루다"는 애교나 귀여운 말투를 쓴다라고 주장하는 사람들에게 묻고 싶다. 정말, 여성과 애교는 항상 같이 가야하는 단어인가? 특히나, 친구의 입장을 자처하는 "이루다"가 보여주는 이미지는 차후 개인이 사회에 나와서 "20대 여성"에 대해서 생각하는 사고 방식에 bias 를 심어 줄 수 있다고 생각하는 바이다. 심리학에서 자주 쓰는 용어로 "Anchoring effect"가 있다.
The anchoring effect is a cognitive bias that describes the common human tendency to rely too heavily on the first piece of information offered(https://www.pon.harvard.edu/daily/negotiation-skills-daily/the-drawbacks-of-goals/)
개인적으로는 "이루다"가 보여주는 모습이 현재 사회적으로 문제되고 있는 젠더 갈등을 보여주는 단적인 예시라고 생각한다. 20대 여성이기에 친근하고 다정다감하고 애교있는 말투를 쓴다고 정의를 한 것은(페르소나를 부여한 것은), 사회적으로 만연한 "야 여자가 사근사근한 맛이 없어. 쯧"이랑 다를 바가 없다고 생각한다. 여기서 굳이 반박하신다면야 "어차피 실제 커플들의 2억개의 데이터를 사용했다는데 그럼 대부분 그런거 아님?" 이 나올 수 있는데 그건 표본 데이터를 어떻게 잡느냐에 따라 다르다고 생각합니다.
사실 개발자 입장에서 본다면, 애초에 성희롱과 같은 논란이 있을 수 있었음 인지한 상태라면 필터링을 할 때에, 아예 성적인 대화는 불가능하거나 우회하는 방식들로 만들어 놨으면 좋았을 것 같은데, 그러면 자연스러움이 깨지기때문에 안그런건지는 모르겠지만...
사실 생각해보면, 다른 게임이나 검색도 19세로 필터링을 만들어버린느데, 이용자가 몇살일지도 모르는 상황에
서 그냥 자유롭게 풀어놓은 것이 문제가 아닌가 싶습니다. Due-Dilligence 에 대한 문제인거죠.
정말로, 친구랑 사실 성적인 얘기를 할 수도 안할 수도 있는거 아닙니까. 일상 공유를 할 수도 있고, 다른 공감대도 많을텐데. 물론 그렇다고 유저들이 애초에 클-린 하게 사용하면 된거 아니냐. 이걸 개발자를 탓하느냐. 플랫폼이 악용될 위험이 있다고 플랫폼을 중단시켜? 그게 우리잘못이야? 하신다면 위에 이미 인지하고 있던 상황을 정말로 due dilligence를 다했는지에 대해 다시 돌아가봅시다.
이루다는 20세 여성, 그리고 대학생의 페르소나를 지니고 있죠. 사실 League of Legend 에서 나온 캐릭터 세라핀도 그렇고 인스타그램을 하거나, 가상의 인물이 실제의 사람처럼 행동하는 그런 경우는 점차 나오고 있습니다. 그렇다면, 성희롱 논란이 나오는거냐. 어차피 피해를 본 사람은 아무도 없지않느냐. 이거 다 그냥 내가 야가상의 인물하고 대화하는거고 내가 내 욕망 표출하겠다는 건데 뭐가 문제가 되는거냐.에 대해 진행을 해보겠습니다.
위의 페르소나를 가진 AI는 인간 vs AI 기계 덩어리로 그냥 봐야하는걸까요? 이건 정말로 성별과 무관한 누구나에게 일어날 수 있는 일일까요? 한국에서 페미니즘이 활발하게 일어나는 이유는, 사실상 가장 큰 논점인 "결국 내 목숨의 위협을 받아서"라고 생각합니다. 이건 짧게만 얘기할게요. 흔히 가장 많은 싸움이 되는 부분은
"모든 남자가 그렇지는 않아"라고 생가합니다. 맞아요. 당연하죠. 모든 사람이 그렇지 않습니다. 그건 모두가 동의하는 부분입니다. 그럼에도 불구하고, 여성들은 더욱 의심하고 불안해합니다. 왜? 여성들은 이미 너무 많은 피해를 입었거든요. 아니 생각해봅시다. 우리 객관적으로 봐요.
경찰청 발표에 따르면 이와 같은 데이트폭력 신고 건수는 매년 늘어나는 추세다. 경찰청이 발표한 최근 3년 간 데이트폭력 통계 자료를 살펴보면 2017년부터 2019년까지 3년간 데이트폭력 신고건수는 2017년 1만 4136건, 2018년 1만8671건, 2019년 1만 9940건으로 해마다 늘어나 지난해에는 2017년에 비해 41.1% 증가했다.
지난해 데이트 폭력 형사 입건자를 혐의별로 살펴보면 폭행·상해가 7003명으로 가장 많았고, 체포·감금·협박 1067명, 성폭력 84명, 살인 미수 25명, 살인 10명, 기타 1669명으로 나타났다. 피해자 대부분은 여성이다.
출처: https://www.pressian.com/pages/articles/2020062917513283208
이 정도면 진짜 무섭지 않을까요?
데이트 폭력 통계를 그럼 왜 갑자기 들고 왔냐. 이는 대부분의 여성이 지니는 불안감을 설명해드리고 싶어서입니다. 밤 늦게 A가 B의 뒤를 노리면서 따라옵니다. B는 무서워서 빨리 걷습니다. 이때, A에게 최악의 경우에, 피해가 가는 것은 자신이 "범죄자"나 "위험한 사람"으로 인식되었다는 사실로 인한 자신의 기분입니다. 반면, B는 최악의 경우에 상해, 강간등 좀 더 위협이 되는 그런 상황이 나옵니다.
그렇다면 이게 "이루다"와는 무슨 관련이 있는가에 대해 설명해보려합니다.
이루다 성희롱 관련 주제그림은 구글에 가볍게 "이루다 성희롱"이라고 검색만 해보셔도 나오는 글들입니다. 아 물론, 지금은 다 지워졌어요. (아마도) 벌써부터 걸레, 꼴리고 싶다, 성희롱해주고 싶다, 참교육했다 등등의 글이 보이죠?
20대 여성의 페르소나를 가진 AI 에게 사람들이 쓰는 단어가 저렇다면, 인터넷상으로 아무런 제재를 받지 않고 익명으로 저렇게 하는게 야동을 보는거랑 뭐가 다릅니까. (야동이 왜 문제인지는 다루지 않습니다 알아서 찾아보세요) 여성을 향한 폭력이 정당화되었다는게 문제입니다.
20대 여성이든 아니든, 이루다가 남성 챗봇이었어도 문제가 됩니다. 다만, 현재의 루다는 여성형 페르소나를 지니고 있고, 20대 여성이라면 이런 식으로 대화하겠지 라는 충분한 앵커링 효과를 만들 수 있는 효과가 있습니다. 얼굴도 알고, 이름도 알고, 나이도 알고, 인스타도 하고, 정말 사람과 대화하는 것 같은데. 그럼 이게 실제로 일어나지 않으리라는 확률이 높다는게 문제인거죠. 단순히, 여성들의 "그놈의 정서적 감성, 공감" 이 문제가 아니라 확률로 봅시다. 서로 모르는 사이에서도 이렇게 일어나는데 그럼 아는 사이거나 약간이라도 친분이 있으면 더 일어날 확률이 높지않을까요? 설마... 모르는 사이니까 괜찮아. 라고 생각하신다면 모르는 사람이 당신을 가지고 당신이 모르는 사이에 성희롱 하고 혹시라도 만나면 진짜 해야겠다고 생각해보세요. 싫죠? 같은 논리에요. 뭐만 말하면 아 너 페미니즘하냐? 그놈의 쿵쾅이들이라고 하는 그런 말을 댓글로 쓰실거면 대답하기 귀찮으니 그냥 뒤로 넘어가주세요.
다시 돌아가서, AI 챗봇에게 만약 사용자들이 인간적인 감정을 느끼고, 사람처럼 대한다면 그 챗봇은 그래도 코드 덩어리입니까? 아니라고 생각합니다. 사회적으로 애초부터 약속이 되어있었잖아요. 루다는 20대 여성이야. 만약 코드 덩어리라고 하고 싶었으면 신원 미상의 심심이 같은 걸로 만들었어야죠. AI 윤리인식은 AI 가 학습되는 데이터나 나아가는 방향도 포함되어있습니다. 애초에 AI 가 기본적으로 학습되어있는 데이터가 편향되어있는데 어떻게 더욱 좋은 방향으로 나아갑니까. 이미 그 틀이 있는데.
당연히, 악용한 유저들은 처벌받아야합니다. 정말로 나는 그저 데이터 쪼가리한테 섹드립 날린건데? 라고 생각하시나요? 그게 정말로 그냥 왓슨이나 다른 챗봇이었어도 그랬을까요? 개인이 생각하고 느낀 "이루다"는 없나요? 다만, 개발자들 역시 다시 한번 생각해보았으면 합니다. 과연 이런 오픈 대화형 AI를 만들때에 어디까지가 나의 due dilligence 인가.
알고 있습니다 데이터 피딩 하고 알고리즘만 짜기도 바쁜데 또 뭘 책임지라는거야. 그럼 뭐 어디까지 책임져야해. 요즘 플랫폼 서비스에 대한 책임 강화 법안 들이 나오고 있습니다. 내가 만드는 서비스가 악용되지 않기 위한 규정들과 방어책은 어떤 업종이든 다 있습니다. 아직, IT는 기술의 발전에 비해 이런 사회적인 법안들이 느리게 만들어지는 것이지요.
