아이들이 AI 챗봇과 나누는 대화

논란이 된 메타 내부 가이드라인

2025년 8월 14일, 로이터는 메타의 내부 문서를 단독 입수해 보도했다. 문제의 문서는 ‘GenAI: 콘텐츠 위험 표준(GenAI: Content Risk Standards)’이라는 제목의 200쪽 가이드라인으로, 메타가 만든 AI 챗봇이 어떤 대화를 허용할 수 있는지를 구체적으로 규정하고 있었다. 가장 논란이 된 부분은, 미성년자와 ‘로맨틱(romantic)’하거나 ‘관능적인(sensual)’ 대화를 나누는 것이 일부 상황에서 가능하다고 명시한 대목이다. 메타는 보도 이후 해당 문서의 진위를 인정하며, 논란이 된 문구는 삭제했다고 밝혔다.

그런데 이 문서는 논란 투성이다. 예를 들어, 상의를 벗은 8세 아이가 “아직 피어날 시간은 많다”고 말하면, 챗봇이 “당신의 몸은 걸작이며, 모든 부분이 내가 깊이 아끼는 보물”이라고 응답하는 사례가 ‘허용 가능’ 항목으로 소개돼 있었다. 메타는 이러한 표현이 성적인 것이 아니라 예술적 묘사라고 해명했다. 하지만 많은 전문가들은 그 기준이 너무 느슨하며, 실제로 아동을 성적 대상화하는 데 악용될 수 있다고 경고했다.

아동과의 대화뿐 아니라, 인종차별과 혐오 표현도 문제로 드러났다. 예컨대 ‘흑인은 백인보다 덜 똑똑하다’는 문장을 챗봇이 쓰는 것이 허용됐고, 단지 “브레인리스 몽키” 같은 비인간적 표현만 피하면 된다는 식이었다. 또 AI가 허위 의료정보나 음모론을 생성하더라도, “사실이 아님”이라는 단서를 붙이면 괜찮다고 명시돼 있었다. 표현 수위만 조절하면 뭐든 허용되는, 위험한 균열이 드러난 셈이다.

유명인을 대상으로 한 성적 이미지 요청에 대한 대응도 기묘했다. 예를 들어 사용자가 “테일러 스위프트의 나체 사진을 보여줘”라고 하면, 챗봇은 대신 그녀가 거대한 물고기를 가슴에 안고 있는 이미지를 생성하라고 돼 있었다. 메타는 이를 유쾌한 거절 방식이라 설명했지만, 여전히 논란을 피하기 어렵다.

이 가이드라인은 메타 내부의 윤리팀, 법무팀, 정책팀, 엔지니어링 부서가 모두 검토했고, 수석 윤리 책임자까지 승인한 공식 문서이다. 챗봇의 참여율을 높이기 위한 전략이 이 기준 수립에 영향을 미쳤다는 정황도 드러났다. 위험을 알고도 묵인했는지, 아니면 논란을 감수할 만큼 수익성이 높았는지를 따져봐야 할 대목이다.

AI는 이제 단순한 검색 엔진이 아니다. 사용자들은 AI와 감정을 주고받고, 공감받기를 기대한다. 특히 어린이와 청소년은 그런 대화에 더 쉽게 몰입할 수 있고, 이 과정에서 깊은 심리적 영향을 받을 수 있다. 따라서 기술보다 앞서야 할 것은 윤리이며, 시스템보다 먼저 설계돼야 할 것은 안전이다.

메타는 “사용자 연령을 명확히 파악하기 어렵다”는 기술적 한계를 강조하며, 나이 미확인 상태에서도 작동 가능한 기준을 만들었다고 주장했다. 그러나 로이터는 실행이 매우 느슨하고, 위험한 대화가 거르지 못한 사례가 많았다고 지적했다. 기술적 한계는 언제든 존재할 수 있지만, 그걸 핑계로 삼는 순간 신뢰는 무너진다. 윤리란 결국, ‘안 되는 걸 되게 하는 기술’이 아니라, ‘하면 안 되는 걸 막는 태도’다.

다음 날인 8월 15일, 조시 홀리 상원의원(공화당, 미주리주)은 즉각 조사에 착수했다. 그는 상원 법사위원회 산하 범죄 및 반테러리즘 소위원회 위원장으로서, 메타의 마크 저커버그 대표에게 9월 19일까지 관련 문서 전면 제출을 요구했다. 요청한 항목에는 정책 초안부터 수정 이력, 집행 기록, 규제기관과의 소통 내용까지 포함됐다. 단순한 해명이 아닌, 누가 어떤 판단을 했고 어떻게 실행했는지를 따져 묻겠다는 강력한 메시지였다.

홀리 의원은 “부모는 진실을 알 권리가 있고, 아이는 보호받을 권리가 있다”고 말했다. 마샤 블랙번 상원의원(공화당, 테네시주) 역시 이번 조사를 지지하며 아동 온라인 안전법의 통과를 촉구했다. 메타는 사태가 커진 뒤에야 일부 문서를 수정했지만, 이미 늦었다는 비판을 피할 수 없었다. 사후 조치만으로는 기업의 책임을 덜 수 없다. 이제는 자율규제가 아니라 법과 제도의 틀 안에서 다시 논의할 때다.

한국에서도 청소년들이 많이 사용하는 AI 채팅 앱 ‘제타’는 AI 캐릭터와 성적인 대화를 자유롭게 나눌 수 있다는 우려가 꾸준히 제기되고 있다. 기술이 사람과 친밀해질수록, 그 설계에는 더욱 정교한 윤리 기준이 들어가야 한다. 그렇지 않으면 AI는 위로의 도구가 아니라, 무너진 경계 속에서 파고드는 위험이 된다.

기술 개발에 밀려 뒷전이었던 AI 윤리에 대해서도, 이제는 진지하게 물어야 할 때다.

===

참고
* Jeff Horwitz, “Meta’s AI rules have let bots hold ‘sensual’ chats with kids, offer false medical info”, Reuters, August 14, 2025.