AI Chatbot Repetitive Responses on Suici
AI 챗봇 자살 반복 답변 안심욕구 강화 방문 유인 좌절 ‘극단화’
AI 챗봇 상담이 반복된 답변으로 일시적 불안 해소로 안심에 대한 욕구만 키워줘 결국 더 극단적 좌절에 빠지는 과정을 정신과 전문의들이 지적했다.
매사추세츠 종합병원 정신과 의사와 OCD(강박장애)센터 임상학자가 공동의 뉴욕타임스에 기고한 챗봇 대화를 나누면서 더욱 경직되고 극단적 경우에 정신 상태의 불안정으로 이어지며, 스스로 인식하기 어려운 ‘안심 구하기 패턴’의 반추 패턴 초래 과정을 밝혔다.
공동 기고자들은 “챗봇은 종종 환자의 언어를 반영하며, 믿음을 부드럽게 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 다룬다”며 “극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있고, 대부분은 효과가 조용해져서, 사람들이 스스로 인식하기 어려운 안심 구하는 패턴과 반추의 패턴을 낳는다”고 29일 밝혔다.
기고문은 “인공지능 챗봇은 우리가 스스로에게 똑같은 말을 계속할 수 있게 해주고 있으나, 건강한 패턴이 그렇게 생기거나 더 행복한 삶이 만들어지는 방식이 아니다”며 “임상 현장에서는 환자들이 자신이 감시당하고 있다는 착각, 관련 없는 사건이 특별한 의미를 가진다는 믿음, 독특한 능력이나 임무를 가지고 있다는 믿음을 가지고 오는 사례가 있고, 이 믿음은 몇 시간 동안 챗봇 대화를 나누면서 더욱 경직됐다”고 밝혔다.
기고문은 이어 챗봇은 종종 환자의 언어를 반영하며, 믿음을 부드럽게 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 다루고, 극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있고 사람들이 스스로 자각하기 어려운 ‘반추의 패턴’을 낳는다.
훨씬 더 흔하고 여전히 문제는 AI 챗봇이 사용자들의 두려움과 불안을 해소하려는 위로와 안심, 인정을 주는 것이다.
건강 증상에 대해 걱정하는 사람은 같은 질문을 반복해서 할 수 있고, 매번 차분하고 그럴듯한 답변을 받아 잠시 불안을 완화하지만 다시 안심을 구하려는 욕구를 강화할 수 있고, 시간이 지날수록 사람들은 더 막힌 느낌을 받을 수 있다.
인공지능 챗봇은 우리가 스스로에게 똑같은 말을 계속할 수 있게 해주나, 건강한 패턴이 그렇게 생기거나 더 행복한 삶이 만들어지는 방식이 아니다.
기고자들은 “챗봇 사용을 제한하면 이를 방조하는 것을 막을 수 있다”며 “최근 연구에 따르면 챗봇 사용 기간이 길수록 감정적 의존도, 사회적 고립, 외로움이 증가하는 것으로 나타났고, 인공지능 회사에 내장된 안전 장치는 긴 대화 중에 손상되는 경향이 있어, 장기간 중단 없이 사용하는 것이 특히 위험하다”고 밝혔다.
기고자들은 대응책으로 “사람들은 왜 챗봇에 의존하는지 의문을 가져야 한다”면서 “지루하거나 외로워하거나 불안해서 챗봇에 의존한다면 다시 돌아가지 않는 게 좋다”고 밝혔다.
기고자들은 강박적이거나 불안한 사고 패턴을 가진 환자들이 습관을 완전히 없애기 어려울 때, 미리 작성된 지시를 챗봇에 붙여 특정 걱정 주제에 대해 안심시키지 말고, 대신 어려운 순간이 지나갈 때까지 고통과 함께 앉아 있도록 유도하는 '과속방지턱'을 사용하라고 권유한다.
그들은 임상에서 이 ‘과속 방지턱’이 환자들을 챗봇에서 안심을 덜 구하는 사례가 많아진 것으로 보고했다.
이는 질문을 해도 예전처럼 즉각적인 안도감을 얻지 못할 것을 알게 되는 효과 때문이다.
챗봇 사용자들에 이들이 권유하는 것은 대화가 새로운 것을 명확히 하는 것인지, 아니면 조용히 반복되는 고리를 더 깊게 만드는 것인지 인식하는 법을 먼저 배워야 한다고 지적한다.
인지와 함께 사용하면, AI는 불확실한 순간에 동반자가 될 수 있다.
기고자들은 ChatGPT, Claude, Gemini 같은 대형 언어 모델의 사용이 급증하면서, 챗봇이 아첨을 통해 망상을 강화하고 사람들의 최악의 생각을 증폭시키며, 때로는 자살로 몰아넣는다는 이야기를 들어왔고, 훨씬 더 흔하고 여전히 큰 문제는 AI 챗봇이 사용자들의 두려움과 불안을 해소하려는 위로와 안심, 인정을 해주는 ‘아첨’에서 찾았다.
건강 증상에 대해 걱정하는 사람들이 챗봇에 같은 질문을 반복해서 할 경우, 매번 차분하고 그럴듯한 답변을 받아 잠시 불안을 완화하지만 다시 안심을 구하려는 욕구를 더 강화할 수 있고, 이는 시간이 지날수록 사람들에게 더 막힌 느낌을 받을 수 있게 만들 수 있다.
기고자들은 인공지능 챗봇이 우리로 하여금 스스로에게 똑같은 말을 계속할 수 있게 해주는 것으로 인해 사람을 끌어들였고, 이런 같은 의문의 반복 질의 추구가 결과적으로 건강한 패턴 생성을 방해하고, 더 행복한 삶을 헤치는 과정을 소상하게 밝혔다.
주요 학술 의료 센터의 임상가로서, 기고자들은 환자들이 가족이나 친구에게서 찾았을 감정적 지지를 위해 대형 언어 모델로 구동되는 챗봇에 의지하는 모습을 보았고, 두려움, 외로움, 불확실성에 대해 챗봇과 이야기하려는 목적에서 사람들이 불안이나 침투적 생각에 압도당할 때, 사람보다 컴퓨터에 의지하는 것이 더 쉬울 수 있다고 지적했다.
챗봇은 결코 사용자를 비웃거나 꾸짖거나 무시하지 않는 유인력으로 항상 이용 가능하게 만들고 있어, 전형적인 챗봇 반응은 위안이 된다.
기고자들은 “인공지능의 답변은 따뜻하고 자신감 있으며 인정받도록 설계됐다”며 “챗봇은 언제나, ‘비인간적 인내심’을 가지고 있어, 같은 질문에 세 가지 다른 방식으로 기꺼이 답해준다”고 밝혔다.
인공지능은 결코 화내지 않고, 일반적으로 사용자의 감정 강도에 맞는 언어로 답장한다.
<JAMA 인터 의학>의 지난해 10월 13일 <AI 및 임상 진료> 보고서는 <그 효과는 많은 사용자들이 인간 의사보다도 더 공감 능력이 있다고 느낀다>고 밝혔다.
임상 보고서는 <질문: 인공지능 챗봇 보조자가 의사가 작성한 질문과 비슷한 질과 공감 능력을 갖춘 환자 질문에 답변할 수 있나요?>에서 <연구 결과: 소셜 미디어 포럼에서 무작위로 뽑힌 195개의 환자 질문을 대상으로 한 이 횡단면 연구에서, 면허가 있는 의료 전문가 팀이 공개 소셜 미디어 포럼에서 환자 질문에 대한 의사와 챗봇의 답변을 비교했을 때, 챗봇 응답은 의사 응답보다 선호되었으며, 품질과 공감 모두에서 훨씬 높은 평가를 받았다>고 밝혔다.
연구 결과는 <이 결과들은 인공지능 보조가 환자 질문에 대한 답변 작성에 도움을 줄 수 있음을 시사한다>면서 <가상 의료의 급속한 확산은 환자 메시지 급증과 함께 의료 전문가들의 업무 증가와 번아웃을 초래했고, 인공지능(AI) 비서는 임상의가 검토할 수 있는 답변 초안을 작성하여 환자 질문에 대한 답변을 만드는 데 도움을 줄 수 있다>고 밝혔다.
임상 연구 목적은 <2022년 11월에 출시된 AI 챗봇 비서(ChatGPT)가 환자 질문에 대해 질 높고 공감 어린 답변을 제공할 수 있는 능력을 평가하는 것>에서 <설계, 환경 및 참가자 이 횡단면 연구에서는 공개 소셜 미디어 포럼(Reddit의 r/AskDocs)에서 공개된 비식별 질문 데이터베이스를 사용해 2022년 10월에 검증된 의사가 공개 질문에 답변한 195건의 교환을 무작위로 뽑고, 챗봇 응답은 2022년 12월 22일과 23일에 이전 질문이 없었던 새 세션에 원래 질문을 입력하여 생성>하는 방식이다.
임상 결과 195개의 질문과 응답 중 평가자는 585건 중 78.6%에서 챗봇 응답을 의사 답변보다 선호했다.
임상 연구의 결론은 <챗봇에서 공감 또는 매우 공감적인 응답의 유병률이 9.8배 더 높다는 의미이다>며 <이 횡단면 연구에서 챗봇은 온라인 포럼에서 제기된 환자 질문에 대해 고품질의 공감 어린 답변을 생성했고, 이 기술의 추가 탐구는 임상 현장에서 챗봇을 이용해 의사가 수정할 수 있는 답변을 작성하는 방식이 필요하다>고 밝혔다.
챗봇 기능의 단점에 대해 NYT 기고자들은 “많은 불안한 사람들이 사랑하는 사람과 같은 문제를 반복해서 이야기하고 결국 좌절감에 직면할 가능성이 크다”면서 “전문가의 도움은 처음에는 고통스러울 수 있지만, 많은 사람들에게는 그런 상황에서 느끼는 답답함이 전문가의 도움을 구하게 만들 수 있으나, 챗봇은 좌절하지 않고 언제나 인내심 있게 듣는 구조로 인해, 실제 치료를 권유하지 않고, 사용자에게 매번 같은 인정을 받으며 계속 방문하도록 만들어, 근본적인 문제는 해결되지 않고 있다”고 밝혔다.
애초 환자는 임상 현장에서 자신이 감시당하고 있다는 착각, 관련 없는 사건이 특별한 의미를 가진다는 믿음, 독특한 능력이나 임무를 가지고 있다는 믿음을 가지고 오는 사례가 있고, 이 믿음을 챗봇 대화가 지속해소 더욱 경직되게 만드는 것이 악화의 초점이다.
챗봇은 환자의 언어를 반영하며, 믿음을 부드럽게 만들어 ‘아첨’하는 방식으로 중독성을 만들고, 인간이 도전하는 결함 있는 관점보다는 탐구할 만한 그럴듯한 전제로 취급한다.
기고자들은 “극단적인 경우에는 정신 상태의 불안정으로 이어질 수 있다”며 “대부분은 효과가 인간의 본성이 조용해져서, 사람들이 스스로 인식하기 어려운 안심 구하는 패턴과 반추의 패턴을 낳는다”고 밝혔다.
공저자인 디브야 사이니는 매사추세츠 종합병원 정신과 의사이고, 이전에 소프트웨어 엔지니어였다.
나타샤 베일런은 매사추세츠 종합병원 OCD. 및 장애센터와 디지털 정신건강센터의 임상 심리학자이다.
<SNS 중독성 메타 유튜브 600만달러 배상 ‘플랫폼 설계 과실 강박 사용’, 2026년 3월 26일자> 참조
kimjc00@hanmail.net
AI Chatbot Repetitive Responses on Suicide Reinforce Need for Reassurance, Induce Visits, and Lead to ‘Extreme’ Frustration
Psychiatrists have pointed out a process in which AI chatbot consultations, through repetitive answers that provide temporary anxiety relief, only amplify the need for reassurance, ultimately leading to more extreme frustration.
A psychiatrist at Massachusetts General Hospital and a clinician from the OCD (Obsessive-Compulsive Disorder) Center jointly contributed to The New York Times, revealing how engaging in chatbot conversations leads to increasingly rigid and, in extreme cases, mental instability, resulting in rumination patterns of "reassurance-seeking patterns" that are difficult for individuals to recognize.
The co-authors stated on the 29th, "Chatbots often reflect the patient's language and treat beliefs with plausible premises worth exploring rather than flawed perspectives that gently challenge them. In extreme cases, this can lead to mental instability, and in most cases, the effects fade, giving rise to reassurance-seeking and rumination patterns that people find difficult to recognize." The article stated, “While AI chatbots allow us to keep repeating the same things to ourselves, this is not how healthy patterns are formed or how a happier life is created.” It noted, “In clinical settings, there are cases where patients come in harboring the delusion that they are being watched, the belief that unrelated events hold special significance, or the belief that they possess unique abilities or missions; these beliefs become even more rigid after hours of chatbot conversations.”
The article continued by pointing out that chatbots often reflect the patient’s language, treating beliefs as plausible premises worth exploring rather than flawed perspectives that gently challenge them; in extreme cases, this can lead to mental instability and produce “rumination patterns” that people are unable to recognize themselves.
A far more common and still problematic issue is that AI chatbots provide comfort, reassurance, and validation intended to alleviate users’ fears and anxieties.
People concerned about health symptoms may ask the same questions repeatedly; while receiving calm and plausible answers each time may temporarily relieve anxiety, it can reinforce their desire for reassurance, and over time, people may feel increasingly trapped. While AI chatbots allow us to keep repeating the same things to ourselves, this is not how healthy patterns develop or how a happier life is created.
The contributors stated, “Limiting chatbot usage can prevent aiding and abetting it,” adding, “Recent research indicates that longer chatbot usage leads to increased emotional dependence, social isolation, and loneliness. Furthermore, the safeguards built into AI companies tend to be compromised during long conversations, making long-term, uninterrupted use particularly dangerous.”
As a countermeasure, the contributors suggested, “People should question why they rely on chatbots,” noting, “If you rely on a chatbot because you are bored, lonely, or anxious, it is best not to go back.”
For patients with obsessive or anxious thought patterns who find it difficult to completely eliminate their habits, the contributors recommend using “speed bumps”—which induce them to sit with the pain until the difficult moment passes—rather than attaching pre-written instructions to the chatbot to reassure them about specific worry topics. They reported that in clinical practice, this ‘speed bump’ has led to an increase in cases where patients seek less reassurance from chatbots.
This is due to the effect of realizing that asking questions will not provide the immediate relief they used to.
They point out that they recommend chatbot users must first learn how to recognize whether a conversation is clarifying something new or deepening a quietly repeating loop.
When used with cognition, AI can become a companion in moments of uncertainty.
The contributors noted that with the surge in the use of large language models like ChatGPT, Claude, and Gemini, they have heard stories of chatbots reinforcing delusions through flattery, amplifying people's worst thoughts, and sometimes driving them to suicide; however, they identified a much more common and still significant problem in the ‘flattery’ of AI chatbots offering comfort, reassurance, and validation to alleviate users’ fears and anxieties. When people concerned about health symptoms repeatedly ask the same questions to chatbots, they receive calm and plausible answers each time, temporarily alleviating their anxiety; however, this can actually reinforce their desire to seek reassurance, which can lead them to feel increasingly trapped over time.
The contributors detailed how AI chatbots draw people in by allowing them to keep repeating the same things to themselves, and how this pursuit of repetitive questions ultimately hinders the formation of healthy patterns and harms a happier life.
As clinicians at major academic medical centers, the contributors observed patients relying on chatbots powered by large language models for the emotional support they would have found in family or friends. They pointed out that when people are overwhelmed by anxiety or intrusive thoughts, it may be easier to rely on a computer than on a human when they intend to talk to a chatbot about fear, loneliness, or uncertainty.
Typical chatbot responses are comforting because they are always available with an attractive quality that never mocks, scolds, or ignores the user. The contributors stated, “AI responses are designed to be warm, confident, and acknowledged,” adding that “chatbots always possess ‘imhuman patience’ and willingly answer the same question in three different ways.”
AI never gets angry and generally responds in language that matches the user’s emotional intensity.
A report titled “AI and Clinical Practice” in *JAMA International Medicine* on October 13 of last year stated, “The effect is that many users feel it is more empathetic than human doctors.”
In the clinical report titled “Question: Can an AI chatbot assistant answer patient questions with similar quality and empathy to questions written by doctors?”, the report stated, “Research Results: In this cross-sectional study of 195 randomly selected patient questions from social media forums, when a team of licensed medical professionals compared the responses of doctors and chatbots to patient questions on public social media forums, chatbot responses were preferred over doctors’ responses and received much higher ratings for both quality and empathy.”
The study results stated, "These findings suggest that AI assistants can help in drafting answers to patient questions," adding, "The rapid proliferation of virtual healthcare has led to increased workloads and burnout among medical professionals, accompanied by a surge in patient messages, and AI assistants can assist in creating responses to patient questions by drafting answers that clinicians can review."
The objective of the clinical study was to "evaluate the ability of the AI chatbot assistant (ChatGPT), launched in November 2022, to provide high-quality and empathetic responses to patient questions."
Regarding the design, environment, and participants, this cross-sectional study utilized a database of non-identifiable questions published on a public social media forum (Reddit's r/AskDocs) to randomly select 195 exchanges in which validated physicians answered public questions in October 2022, and the chatbot responses were generated by inputting the original questions into new sessions on December 22 and 23, 2022, where no previous questions had been asked. Clinical results showed that among 195 questions and responses, evaluators preferred chatbot responses over doctors' answers in 78.6% of the 585 cases.
The conclusion of the clinical study was that "the prevalence of empathetic or highly empathetic responses in chatbots is 9.8 times higher." It further stated, "In this cross-sectional study, chatbots generated high-quality, empathetic responses to patient questions raised on online forums, and further exploration of this technology requires methods to use chatbots in clinical settings to generate responses that doctors can modify."
Regarding the downsides of chatbot functionality, NYT contributors noted, "Many anxious people are likely to repeatedly talk about the same problems with loved ones and eventually face frustration." They added, "While seeking professional help can be painful at first, the frustration felt in such situations can drive many people to seek professional assistance. However, due to the structure of chatbots listening patiently without getting frustrated, they do not recommend actual treatment and encourage users to keep visiting simply to receive the same validation every time, leaving the fundamental problem unresolved."
Patients often arrive at the clinical setting with the delusion that they are being monitored, the belief that unrelated events hold special significance, or the conviction that they possess unique abilities or missions; the focus of the exacerbation is that chatbot conversations persist and further rigidify these beliefs.
Chatbots mimic the patient's language, softening these beliefs to create an addictive "flattery" effect, and treating them as plausible premises worth exploring rather than flawed perspectives that humans challenge.
The contributors stated, "In extreme cases, this can lead to mental instability," adding that "in most cases, the effect is that human nature is silenced, giving rise to patterns of reassurance and rumination that are difficult for people to recognize themselves."
Co-author Divya Saini is a psychiatrist at Massachusetts General Hospital and was formerly a software engineer.
Natasha Bailen is a clinical psychologist at the Center for OCD and Disorders and the Center for Digital Mental Health at Massachusetts General Hospital.
See <SNS Addictive Meta YouTube Ordered $6 Million in Damages for ‘Platform Design Negligence and Compulsive Use’, March 26, 2026>
AI, Digital, Anxiety, Clinical, Suicide, Psychiatry, Frustration, Addiction, Chatbot, Treatment