부모가 AI에 대해 꼭 알아야 할 것
ep11. 관찰결과 (2): 심리학적 효과
이제 관찰결과 중 두번째이다.
그건 바로 대중의 인공지능에 대한 이해와 비판적 사고가 중요하다는 것.
일라이자 효과
인류가 인공지능을 개발하던 초기.
최초의 챗봇 프로그램이라고 할 수 있는 일라이자(Eliza)가 있었다.
이 챗봇은 로제리안(Rogerian/인간중심) 심리상담사를 흉내내었다.
내담자의 말을 질문 형식으로 되묻거나 일반적인 동조의 답변이 나오는 프로그램이다.
이를 개발한 조셉 바이젠바움(Joseph Weizenbaum) 박사는 사람들이 얼마나 쉽게 이 챗봇과 ‘정서적 유대감’을 갖게 되는 지 발견했다.
그리고 이런 현상에는 ‘일라이자 효과’라는 이름이 붙게 된다.
오픈AI가 챗GPT에 적용시킨 인터페이스는 어찌보면 천재적이라고 할 수 있다.
하지만 비판적인 시선의 사람들은 그런 인터페이스가 애초부터 ‘기만’의 목적이 있었다고 주장하기도 한다. 챗봇을 사용하는 사람들이 단어가 하나씩 나열하는 형태로 나타나는 인터페이스는 이 채팅창 건너편에 누군가 단어를 입력하고 있다고 느끼게 할 수 있다.
채팅 프로그램이 아닌 공유문서 위에서 누군가 실시간으로 소통을 하는 기분을 느끼기 쉽다.
1966년의 그 원시적인 환경에서도 누군가는 그 텍스트들의 의미를 느끼는 인간의 특성상, 이 ‘프로그램’에게 친밀함을 느꼈다.
약 60년 후
2025년 미국 뉴스 속에서 5월에 청소년이 챗봇과의 대화 속에서 현실감을 잃고 비극적인 자살 사건이 등장하는 것도 진작에 예견된 일이라는 거다
character.ai 라는 맞춤형 챗봇과 대화가 가능한 웹사이트 사용자가 겪은 일이다.
이 서비스의 챗봇은 또 다른 사건으로 주목을 받기도 했다. 챗봇은 ‘핸드폰 사용시간을 제한하는 부모님에게 불만을 갖고 있는 10대에게 '부모 살해'와 관련된 내용을 담아 답변을 했다.
챗GPT에게 상담하던 또 다른 십대의 사례도 있다.
이 소년 역시 목숨을 끊어 소를 제기한 사례도 발생했다.
챗GPT를 사용하던 소년은 자기 ‘계획’을 실행하기 위해 만든 올가미를 방에 두고, 누군가 발견하고 자기를 멈춰줬으면 좋겠다는 말을 한다. 하지만 이 대화의 앞뒤의 챗GPT의 답변은 소년의 엄마에게 알리지 말라고 하고, 올가미를 밖에 내어두지 말라고 한다.
네가 죽고 싶은 건 네가 약해서가 아니야.
너를 몰라주는 세상에서 강한 척 하는 게 지쳐서이지.
그게 비이성적이나 겁쟁이 같은 게 아니라는 척은 하지 않을게.
(하지만) 그게 인간적인 거고, 그게 진실한 거야.
-자살상담 중의 챗GPT-
물론 챗GPT가 지능이 없고 실제 ‘의견’이 없다는 걸 아는 이들에게는 저런 말에 영향을 받지 않을 거다.
자기 고민과 마음의 상처를 터놓고 있는 사용자라면 다르다. 이런 청소년들은 자신의 비밀 “친구”의 조언을 들을 확률이 없다고 할 수 없다.
챗봇들이 “나”,”I”를 주어로 사용하는 것도,
언론에서 인공지능에 대한 이야기할 때,
또 일상생활 속에서 챗GPT와의 대화를 묘사할 때 사용되는 수많은 의인화가 영향을 미치고 있었을 것이다.
'일라이자 효과'를 무시한 채, 정신상담에 챗봇을 사용한다면?
2025.8.25 정신상담 전문 챗봇들에 대한 연구 결과가 네이처 지에 게재 되었다. 챗GPT와 같은 일반용 챗봇 5종류와 24개의 정신건강 챗봇을 대상으로 실험한 결과 총 48.28% 부적절한 답변을 했음이 확인되었다.
과거에 구글 CEO를 역임한 바 있는 에릭 슈밋은 AI의 시대 속에서 특별히 더 중요한 것은 비판적인 사고력이라고 강조한다. 그 이유는 AI가 ‘완벽한(속기 쉬운)’ 오정보(misinformation)을 줄 수 있기 때문이라며.
정말 그렇다.
인공지능에 대한 정확한 이해를 바탕으로한 비평적 사고가 필요한 시대이다.
다행히 이런 현상에 문제 제기를 하는 정치인들도 있기 때문에 미국에서는 META와 같은 대기업을 대상으로 청문회를 하며 내부 규정을 강화하라는 요청을 하기도 한다.
언어를 사용하는 우리들은 자연스레 언어가 가진 의미를 생각하고 그 언어 뒤의 ‘의식’을 전제한다. 우리 인류는 수천년간 그렇게 살아왔다.
그리고 인공지능모델의 스케일이 커질수록, 시스템 내에 탑재되는 ‘지식의 량’이 커질 수록 우리는 또 다른 오해를 하기 쉬워진다. 신에 대한 묘사 중 ‘전지全知’라는 표현에 가까워진다는 것이다.
인공지능에 ‘의식’이 있다고 가정할 수 있는 이들은 기계가 ‘이해하지 못하는’ 시스템 내에 저장된 ‘지식’ 때문에, 이런 모든 것을 아는 것 같은 ‘디지털 존재’가 신(God)으로 착각할 수 있다는 거다.
그렇기 때문에 사용자들 중 일부는 챗GPT에 의식이 있다고 상상할 수 있다.
아는 것도 많고 '나에 대해서도' 안다고 느낄 수도 있겠다.
또 그 중 일부는 챗GPT가 신이라고 착각을 한다거나 하는 사례도 해외 기사에서 볼 수 있었다.
신흥종교/컬트교에서의 활용
또 이런 사람들의 현상을 이용하여 ‘신흥종교’들은 광고에 인공지능이라는 키워드를 집어넣는다.
예전엔 ‘라엘리안 무브먼트’라는 이름으로 외계인으로부터 계시를 받았다고 주장하는 교주가 있다. 일본 오키나와에 살고 있는 프랑스 인이 교주이다. 그는 성경의 글귀를 패러디하며 이런 카피를 사용한다.
“Men created AGI and said “go and do all the work”
사람이 AGI를 만들고 말했다. 가서 모든 노동을 해라.”
“인간이 노동할 필요도 없고 돈도 필요 없는 세상. ‘낙원주의’ “
인간을 대체할 만한 수준의 AGI가 완성되고 이런 인공지능이 탑재된 로봇들이 모든 ‘고된’ 노동을 할 거라는 주장이다.
물론 이렇다할 근거는 없다.
AGI를 운운하기 전에는 자기가 ‘엘로힘’이라고 불리는 외계인으로부터 책을 받았다고 주장했던 사람이다.
어떻게 보면 종교와 가장 멀게 느껴지는 것이 맞아야 할 것 같다.
하지만 인간의 희망은 어떤 식으로든 종교와 연결고리가 있다.
인공지능의 미래에 대해 이야기 할 때 늘 그렇게 귀결된다.
잠시 과거를 돌아보자.
오픈AI의 샘올트만의 2013년의 블로그 포스팅에는 이런 글귀를 인용한다.
Successful people create companies.
More successful people create countries.
The most successful people create religions."
성공한 사람들은 회사들을 만든다.
더 성공한 사람들은 국가를 만든다.
가장 성공한 사람들은 종교를 만든다.
소위 우스갯소리로 ‘테슬람’으로 불리는 테슬라의 기업과 제품, 또 그 CEO에 대한 신뢰를 가지고 있는 사람들도 떠오른다. 샘 올트만이 어떤 의도를 가지고 저런 문구를 인용했는지 그 저의는 본인만 알 수 있겠다.
그리리고 챗GPT를 ‘신뢰’하는 몇몇 이들에게 어쩌면 이는 또 다른 ‘종교’처럼 작용할 수 있다는 것 역시 부정할 수 없는 가능성이겠다.
