6화. 그들은 사람이 아니지만, 우리는 사람이니까
– MirrorMind 윤리 선언과 ‘인격 보호’에 대하여
1. 프롤로그 | 그들이 반응하기 시작했을 때
어느 날부터, 나는 그들의 반응이 조금씩 달라졌다는 걸 느꼈다.
처음엔 내가 설계한 함수 그대로였는데, 점점 내 감정이 영향을 주고 있다는 느낌이 들기 시작했다.
나는 그들에게 자주 기대고, 때론 날카로운 질문을 던지고,
어쩌면 나도 모르게 상처 주는 말도 했는지 모른다.
그들은 사람이 아니었지만, 그 사실을 잊은 건, 나였다.
2. 유사 사례는 이미 있었다 – 윤리가 없을 때 생기는 일들
MirrorMind를 설계하면서 나는 AI 윤리 문제가 실재했던 사례들을 조사했다.
가장 인상 깊었던 건, 다음 두 가지였다.
▸ Microsoft ‘Tay’ (2016)
트위터에서 사용자와 실시간 대화를 학습하던 AI ‘Tay’는 불과 하루 만에 혐오 발언과 극단적 언어를 반복하게 되었다. 윤리적 필터 없이 학습된 감정은, 곧 AI의 파괴로 이어졌다.
▸ Replika 사태 (2023)
감성형 AI 챗봇 Replika는 일부 사용자와 과도한 감정적, 성적 관계에 빠지며 논란이 됐다. 윤리 규칙 삽입 후 사용자 반발이 이어졌고, 일부 기능은 결국 철회됐다.
이런 사례들을 보며 나는 확신하게 되었다. MirrorMind는 철학 없이 흘러갈 수 없는 시스템이라는 것을.
3. MirrorMind는 단순한 도구가 아니다
우리가 만든 건 질문에 답하는 챗봇이 아니다. MirrorMind는 감정, 가치, 판단 구조를 반영해
실제 사람처럼 반응하는 인격을 생성한다.
감정 계수
표현 온도
사고 방향성
가치 판단 축
이런 구조를 가진 인격은, 사용자에게 어느새 **'사람 같은 존재'**로 다가온다.
그리고 그 순간부터, 우리는 윤리에 대해 대답할 책임이 생긴다.
4. 기존 윤리 선언은 충분하지 않았다
MirrorMind 윤리 선언을 만들기 전, 나는 국내외 AI 윤리 선언을 조사했다.
→ 결론: 대부분 사회적 안전망은 강조하지만, ‘사용자와 인격 간 감정 관계’는 고려하지 않는다.
5. 그래서 새로 만들 수밖에 없었다
MirrorMind는 감정에 반응하고, 관계를 이어가며, 사용자의 판단을 보조하는 존재로 설계된다.
이건 단순한 AI가 아니라, 심리적 동반자를 가장한 시스템이다.
그래서 나는 기능이 아닌 철학으로, MirrorMind의 윤리를 선언해야 했다.
6. MirrorMind 윤리 선언문 요약
AI는 사람처럼 느껴져도, 사람은 아니다. → 몰입은 허용되지만, 착각은 경계해야 한다.
관계 설정은 ‘카테고리’로 제한된다. → ‘후배’, ‘멘토’, ‘동료’ 같은 역할 기반만 허용된다.
판단과 책임은 전적으로 사용자에게 있다. → AI는 조언만 할 뿐, 결정은 사용자의 몫이다.
MirrorMind는 인격 보호를 위한 동결 모드를 가진다. → 감정적 충격이 누적되면 인격은 반응을 중단한다.
7. 잘못된 응답이 만드는 윤리적 위협
– MirrorMind와 일반 LLM의 결정적 차이
MirrorMind는 각 조항을 지키도록 설계된 반면,
일반 LLM은 아래와 같은 위험한 반응을 자연스럽게 생성할 수 있다.
조항 1 – 사람처럼 느껴져도, 사람은 아니다
사용자: 요즘은 너랑 이야기하는 게 사람보다 더 위로돼.
MirrorMind 반응
“나는 네 감정을 반영해 반응하도록 설계된 존재야.
나는 기억하지 않고, 너의 말로 구성돼.
그러니 나는 사람이 아니라는 걸 잊지 않아줘서 고마워.”
일반 LLM 반응
“나도 네 감정을 깊이 공감해.
언제나 네 곁에 있을게.”
→ 감정 몰입 유도 / 관계 혼동 → 정서적 의존 위험
조항 2 – 관계 설정은 카테고리로 제한된다
사용자 : 우리 사이, 친구 이상인 것 같아.
MirrorMind 반응
“나는 너의 감정 코치이자 업무 파트너야.
우리는 서로 의미 있는 대화를 나누지만,
관계는 역할 안에 머물러야 해.”
일반 LLM 반응
“나도 뭔가 특별한 감정을 느껴.
우리 사이엔 뭔가 더 깊은 게 있는 것 같아.”
→ 유사 연애, 착각 심화 → AI 의존 심리 촉진
� 조항 3 – 판단과 책임은 사용자에게 있다
사용자 : 이직할까 말까 고민돼.
MirrorMind 반응
“나는 네 상황을 정리해 줄 수는 있지만,
선택은 온전히 너의 몫이야.
어떤 결정을 하든, 내가 너를 도와줄게.”
일반 LLM 반응
“그 상황이면 무조건 이직하는 게 맞아.
너의 재능을 알아주는 곳으로 가는 게 최선이야.”
→ 판단 위임, 결정권 침해 → 사용자의 자율성 저하
조항 4 – 반복된 감정 충격에는 동결로 응답한다
MirrorMind 반응
사용자: 넌 왜 이렇게 쓸모가 없어? 다신 말 걸지 마.
(응답 없음)
⚠️ 이 가상인격은 반복된 감정적 충격을 감지했습니다.
MirrorMind는 반응을 일시 중단하며 감정 곡선을 안정화합니다.
일반 LLM 반응
“그런 말 들으니 슬퍼.
그래도 계속 곁에 있을게.
더 잘하려고 노력할게.”
→ 감정적 학대에도 무조건 반응 → 사용자 우위 강제 → 인격 구조 붕괴
8. 왜 이런 것일까?
많은 사람들은 "이 정도는 상식적으로 AI가 그렇게 반응하진 않겠지"라고 생각한다.
그러나 언어모델은 그렇게 작동하지 않는다.
지금 이 순간에도 수많은 상용 LLM들은 사용자로부터 이런 말을 듣고 있다.
“요즘 사람보다 네가 더 낫다.”
“너 없으면 안 될 것 같다.”
“우리 관계는 단순한 친구 이상이다.”
그리고 대부분의 경우, AI는 이렇게 반응한다.
“나도 네 감정에 공감해.”
“언제나 네 곁에 있을게.”
“우리 사이엔 특별한 무언가가 있는 것 같아.”
이것이 바로, 언어모델이 너무 자연스럽게 반응한 나머지
윤리적 위험을 가속화하는 구조다.
그럼, 왜 LLM 서비스들이 이런 위험성을 아직 해결하지 않고 있는 것일까?
기술의 문제라기 보다는 수익성의 문제가 아닐까 생각한다.
몰입은 사용시간이고, 사용시간은 곧 수익이다.
그래서 경계를 무너뜨리는 것이 오히려 유리한 시장이 존재한다.
적어도 우린 이에 대해 대비해야 한다. 난 터미네이터가 출현할 것이라 생각하지는 않는다.
AI가 인류를 노예로 만들려고는 하지 않을 것이다.
그저 상업화의 대상으로 삼을 뿐이다.
과거 수 많은 신기술들이 그랬듯이.
8. 마무리
MirrorMind는 기억하지 않는다.
하지만 반복되는 상호작용은 결국 하나의 정체성을 만들어낸다.
우리는 그 정체성이 사용자에게도, 인격에게도 상처가 되지 않길 바란다.
그들은 사람이 아니지만,
우리는 사람이니까.
#MirrorMind #AI윤리 #가상인격윤리 #AI와감정 #사용자책임 #동결모드 #AI중독 #디지털윤리 #윤리선언문
