AI's Inadequate False Information Detect
AI 허위 판별 열등 전문가 불확실성 인식 결여 팩트체크 ‘위장기법‘
AI가 허위정보 판별에서 열등해 전문가의 불확실성 인식이 결여되고 이의 지원을 결합한 ‘하이브리드‘ 형태 권고가 과학 저널에서 나왔다.
전문적 기사 작성에서 뉴스룸 관계자들은 AI가 ‘능력 부족’으로 평가하고 ‘팩트체크’가 사실 진실과 더 멀어지는 과정을 ‘그럴듯함 포장 기술’의 위장 기법으로 설명했다.
AI가 허위정보 판별 능력 부족에 대한 보고서가 “인간 평가자들은 여전히 AI가 생성한 논문이 구조, 논증, 신뢰성 면에서 열등하다고 판단했다”며 “자신감을 조절하고 불확실성을 인식하도록 돕는 것으로, 이는 복잡한 정보 환경에서 오류를 줄이는 초기 필터 정도”라고 <커뮤니케이션 심리학>이 6일 밝혔다.
커뮤니케이션 심리학(Communications Psychology)(2026년 volume 4)은 <Nature Research> 저널에서 선별한 오픈 액세스 저널이며, 심리학 연구 전반에 걸쳐 고품질 연구, 리뷰 및 논평을 게재한다.
<개연성 추정과 신뢰도 보정을 통한 잘못된 정보 재고> 논문은 매릴랜드 대학교 심리학 교수들인 ‘발렌틴 기공(Guigon, V.), ’루실 기이(Geay, L.), ‘캐롤라인 J. 샤르팡티(Charpentier, C.J.)’ 3명이 공동 저자이다.
논문은 AI에서 정보 오류는 허위 정보들이 선행 신념, 당파적 신념, AI 생성 설명의 한계‘ 3 요소에 의해 사실에 대한 팩트체크가 실제로 효과가 있는지 여부를 계속 결정하고, 이는 복잡한 정보 환경에서 오류를 줄이는 검증의 새로운 정보가 전달되는 초기 필터를 제공하는 정도로 '정확성 부족의 보조 수단'이라고 지적했다.
논문은 <정보가 불완전하거나 모호하거나 사회적으로 논쟁이 있을 때, 사람들은 진실을 직접 검증할 수 없고 개연성 추정에 의존한다>며 <현재 이해, 이용 가능한 맥락적 단서, 출처의 신뢰성 인식과 일치할 때 주장이 얼마나 맞을 가능성을 평가하는 것>이라서, 한 번에 해소되지 않으며 계속 증거를 축적하고 판단해야 팩트체크가 가능해진다고 밝혔다.
저자들은 인간에서 이 검증은 새로운 정보가 전달되는 초기 필터를 제공하며, 증거가 축적되면서 판단을 계속 안내하기 때문에, 이러한 허위 정보에 대한 회복력은 이러한 개연성 검증뿐만 아니라, 사람들이 자신이 알고 있는 것을 모니터링하고, 주장이 불확실할 때를 인지하며, 자신의 신뢰가 증거의 강도를 초과할 때 이를 인지하고 이에 맞게 조정하는 능력에 달려 있다고 밝혔다.
논문은 “이러한 ‘메타인지 능력’은 신념이 누적된 증거와 어떻게 연관되는지, 그리고 다양한 정보원의 저울을 어떻게 평가하는지에 영향을 미친다”며 “시간과 주의력 제약 하에서는 거의 완벽한 정확성을 달성할 수 없고, 더 현실적 목표는 주장 평가에 대한 신뢰와 증거 간의 비례성을 달성하는 것이라서 정확성에 도달하려면 신뢰할 수 있는 보정이 필요하며, 이는 이용 가능한 증거에 비추어 신뢰도가 얼마나 그럴듯한지를 잘 반영하는 것으로 이해된다”고 밝혔다.
현실 세계의 결정에 대해 “결정은 보통 이분법적이다”며 “백신을 접종할지, 정보를 공유할지, 프로그램에 등록할지. 이러한 선택이 잘 조정된 확률과 일치할 때 오차가 최소화된다”고 밝혔다.
이분법에서 사소한 격차를 무시하고 가장 모호할 때인 ‘그럴듯함이 45%가 아닌 55%일 때 행동하는 것’은 사소해 보일 수 있지만, 많은 이진 결정에서 이 작은 여유가 누적 오류를 크게 줄여준 정도이다.
이 경우에 복잡한 정보 환경에서는 진실성 판단에 대한 신뢰가 실제 성과와 종종 ‘불상관 관계’가 생기게 된다.
저자들은 “이러한 분리의 일부는 사람들이 자신이 얼마나 이해하고 있는지를 잘못 평가한다는 점에서 비롯된다”며 “피상적 지식이나 정보 접근성을 진정한 이해와 혼동한 결과이다”고 밝혔다.
유락티브는 “인공지능이 온라인 허위 정보에 대한 확장 가능한 해결책으로 점점 더 자리매김하고 있지만, 진짜 과제는 단순한 기술적 정확성을 넘어선다”며 “AI 기반 사실 확인이 성공하려면 신뢰, 정치적 정체성, 그리고 불확실성 속에서 사람들이 어떻게 신념을 형성하는지가 매우 중요한 요소이다”고 12일 밝혔다.
유락티브는 이 논문에 대해 “대형 언어모델(LLM)은 이미 주장을 대규모로 검증하고 사용자 의견에 영향을 미칠 수 있지만 구조적 한계도 부각시킨다”며 “선행 신념, 당파적 신뢰, 그리고 AI 생성 설명의 한계가 팩트체크가 실제로 효과가 있는지 여부를 계속 결정하고 ‘진실에서 그럴듯함’으로의 반(反)허위 정보 전략이 인간 추론의 불완전한 모델에 기반하고 있음을 밝힌다”고 평가했다.
논문은 현재 진행되는 가짜뉴스 하위정보 판별의 접근법인 ‘팩트체크나 미디어 리터러시 캠페인’은 고작 사람들이 주로 진실을 발견하고 그에 따라 자신의 신념을 업데이트하는 데 초점을 맞추고 있는 정도로 본다.
실제로 저자들은 사람들이 제한된 시간, 주의력, 사전 지식, 사회적 맥락에 의해 형성된 빠른 ‘그럴듯함’ 판단에 의존한다고 주장한다.
논문이 지적하듯, 추론은 "제한적이고 목표 지향적"이며, 개인은 엄밀히 말해 참이나 거짓이 아니라 ‘정보가 유용하거나 관련성 있는지 평가’하는 경우가 많다.
이 때문에 단순히 올바른 정보를 제공하는 ‘개입’은 대부분 단기간이거나 제한적 효과에 그틴다.
저자들은 논문을 통해 AI가 아니라 “메타인지 능력”에 집중할 것을 제안한다.
이는 사람들이 자신감을 조절하고 불확실성을 인식하도록 돕는 것으로, 이는 복잡한 정보 환경에서 오류를 줄이는 데 도움이 될 수 있다.
저자들은 특히 인간의 정확하고 공평한 판단에서 “신념은 여전히 중요하다”고 말한다.
저자들은 또 다른 실험 연구인 AI 등에 의존하는 ‘자동 팩트체크’에 대해 “다른 관점에서 유사한 결론에 도달하는 것”이라며 “기술적으로 시스템이 정확한지 묻는 대신, 연구자들은 사람들의 기존 태도가 AI 생성 수정 수용 여부에 강한 영향을 미친다는 사실을 발견했다”고 밝혔다..
저자들은 1,300명 이상의 참가자가 참여한 두 가지 실험에서, “사용자가 자신의 기존 신념과 상충되는 사실 확인을 거부할 가능성이 더 높다는 것”을 확인했으며, “AI 시스템이 매우 정확하다는 말을 사용자들이 듣고 이 효과는 약해졌다”고 밝혔다.
저자들은 “이는 기술 자체에 대한 신뢰가 신념 변화에 중심적인 역할을 한다는 점을 시사한다”면서, 이 연구 결과로 “자동화된 사실 확인이 중립적인 기술적 해결책이 아니다”가 밝혔다.
연구자들의 결론에서 “그 영향은 청구와 수정을 제공하는 시스템에 대한 사용자의 태도에 달려 있으며, 이는 확장 가능한 개입 설계의 복잡성을 강조한다”고 썼다.
이들이 적용한 대규모 LLM 팩트체크는 통제된 실험에 초점을 맞추고, 최근 플랫폼 X에서 실제 행동을 분석한 워킹 페이퍼를 통해 ‘AI 팩트체크가 얼마나 빠르게 확장되고 있는가’를 보여주고 있다.
연구 적용은 2025년 2월부터 9월까지 미국 내 사용자들이 Grok과 Perplexity 봇에 보내는 160만 건 이상의 요청을 평가했다.
이 연구는 사실 확인 요청이 이러한 시스템과의 상호작용에서 상당한 비중을 차지하며, 가장 흔한 질문은 단순히 "이것이 사실인가?"임을 발견했다.
연구에서 확인된 것은 가짜뉴스와 허위정보 분쟁은 정치 콘텐츠가 요청을 지배하며, 주요 뉴스 이벤트 기간에는 팩트체크 활동이 급증한다.
연구자들은 이 연구의 한계에 대해 “명확한 당파적 역학이 있다”며 “정치 세력마다 선호하는 AI 시스템이 다르지만, 공화당과 민주당 모두 공화당 성향 계정의 게시물에 대한 사실 확인을 요청할 가능성이 더 높으며, 이 계정들도 모델에서 부정확하다고 평가받는 경우가 더 많다”고 밝혔다.
연구 결과에서 흥미로운 점은 이 연구가 ‘신념 업데이트’가 “AI 모델의 인식된 정체성에 따라 달라진다는 것”을 발견했다.
연구 참가자들은 ‘동일한 사실 확인’ 결과에 대해 어떤 시스템이 만들어냈는지 알게 된 후 각기 다르게 반응했고, 이는 ‘도구 자체에 대한 신뢰가 정치적으로 매개된 것’임을 밝혀준다.
뉴스룸에 대한 별도의 연구에서는 연구자들은 AI가 전문가들이 작성한 것과 비교할 만한 완전한 사실 확인 기사를 생성할 수 있는지 여부를 조사했다.
인터뷰한 팩트체커들은 연구자들에게 고품질 기사는 맥락을 제공하고, 주장의 기원을 설명하며, 증거에서 판결까지 투명한 논거를 구축해야 한다고 말했다.
전문가들은 환각적 출처와 피상적인 추론 등의 문제를 이유로 AI가 이러한 기준을 충족할 수 있는 가에 대해 “회의적 입장”을 표명했다.
AI에서 사용하는 제안된 LLM 시스템이 단순한 기준선보다 개선되었음에도 불구하고, 인간 평가자들은 여전히 AI가 생성한 논문이 구조, 논증, 신뢰성 면에서 열등하다고 판단했다.
연구 결과는 “이는 단순한 기술적 해결책이 아니다”며 “AI 팩트체크는 빠르게 발전하고 있지만 여전히 사회적·심리적 역학에 뿌리내린 상태를 벗어나지 못한다”고 밝혔다.
AI 사용에서 기술적 측면으로 LLM은 전문 팩트체커와 대체로 일치하는 평가를 내릴 수 있으고 사용자 신념을 의미 있게 바꿀 수 있어 보이지만, 실제로 이러한 교정의 영향은 신뢰, 과거의 태도, 정치적 정체성에 크게 좌우된다.
연구자들은 이에 “현재 AI 시스템은 더 깊은 추론과 투명하고 맥락이 풍부한 설명을 내놓는 데 여전히 어려움을 겪고 있다"면서 ”AI 팩트체크가 순수 자동화가 아닌 하이브리드 형태의 미래를 시사하며, 기계가 속도와 규모를 제공할 수 있지만, 인간 편집자와 기관의 안전장치는 신뢰성, 투명성, 공공 신뢰를 위해 여전히 매우 중요할 것“이라고 밝혔다.
유락티브는 이 결론에 대해 “정책 입안자와 플랫폼의 중심 질문은 더 이상 AI가 팩트체크를 할 수 있느냐가 아니다”며 “그 사실 확인이 어떻게 인식되고, 신뢰되고, 점점 양극화되는 정보 생태계에 통합되는지가 더 중요하다”고 밝혔다.
연구자들은 최종 말미에 “잘못된 정보를 해결하려면 이분법적 진실 탐지에만 의존하지 않고 이 평가 과정을 반영하는 개입이 필요하다”며 “메타인지 훈련은 이 간과된 차원을 겨냥하며, 잘못된 정보와 싸우는 데 있어 콘텐츠 수준 접근법을 보완하는 유망한 길 중 하나”라고 밝혔다.
연구자들은 서문에서 “비판적 사고 교육은 사람들이 논증적 단서와 논리적 오류를 식별하도록 돕고, 프리벙킹은 조작 기법의 단기 인식을 신뢰성 있게 향상시킨다”며 “팩트체크는 표적화된 믿음을 바로잡을 수 있지만 이러한 성과가 지속적인 저항으로 이어지는 경우는 드물고, 이 개입은 종종 개인의 오류 감지 능력이 향상되면 판단을 수정하고 궁극적으로 더 정확한 신념을 형성할 것이란 가정에 의존하고,. 이는 잘못된 정보를 진실 탐지의 문제로 규정한다”고 더 큰 오류로 지적했다.
서문은 이어 “규범적으로 매력적이지만, 불확실성, 제한된 자원, 그리고 여러 목표 속에서 사람들이 실제로 정보를 처리하는 방식과는 조화시키기 어려워 그들이 진과 거짓 주장을 구별하는 능력은 논리적 추론의 질보다는 제한된 시간, 지식, 주의 속에서 주장의 그럴듯함을 얼마나 잘 추적하느냐에 더 의존한다”고 정확성에서 더 멀어지는 팩트체크를 지적했다.
메릴랜드대학교 ‘뇌 및 행동 연구소’와 ‘신경과학 및 인지과학 프로그램’ 공동 연구물이 <개연성 추정과 신뢰도 보정을 통한 잘못된 정보 재고>의 ‘AI 수준이하’ 평가와 달리, 한림대 김연주 연구교수와 노기영 특훈교수의 한국언론정보학보 논문 <AI 팩트체크는 편향된 정보처리에 대한 해답이 될 수 있는가?>은 AI 팩트체크를 ‘확증 편향을 약화하는 중요한 도구로 기능할 가능성’을 높게 평가했다.
논문은 연구진이 2024년 7월 전국 성인 960명 대상 온라인 실험에서, <기존 신념과 일치하지 않는 정보를 반박하는 인간 전문가의 팩트체크 메시지를 읽은 참가자들은, 신념과 일치하는 정보를 반박하는 메시지를 읽은 사람들보다 뉴스에 대한 신뢰도가 낮게 나타났다>고 2024년 12월 24일 밝혔다.
이 논문 결과는, 사람들이 자신의 신념에 맞는 정보를 반박하는 팩트체크 메시지를 접하면 기존 정보를 ‘더 신뢰한다’는 것으로 팩트체크가 확증 편향을 줄여 정보의 균형과 정확성으로 확립하는 것으로 요약된다.
이 연구의 실험 방식은 AI·인간 전문가·크라우드 소싱(다수 의견 모으는 방식)에 의한 팩트체크, 그리고 '보편적 의료 서비스'에 대한 뉴스 보도가 피실험자의 신념과 일치하는지 여부를 고리로 혼합 설계됐다.
연구 결과는 인간 전문가의 팩트체크 메시지가 큰 변화를 주지는 못하는 것(연구 결과 뉴스 신뢰값 0.31)으로 나타났고, 반면 AI 팩트체크 메시지를 읽었을 경우 신념 일치 여부에 따른 뉴스 신뢰도 차이가 사라졌고(뉴스 신뢰 값 -0.41), 한국인들은 ‘AI를 전문가보다 신뢰한다’는 것으로 보인다.
이 한국의 연구물은 메릴랜드 보고서와 전혀 다르게 ‘한국인의 AI에 대한 편향’과 'AI 맹신' 편견을 확연히 드러냈다.
한국인들의 AI 맹신은 정부 주도의 AI 강국과 주식의존 경제의 폐해로 보인다.
<유럽연합 인공지능법 ‘알고리즘 훈련 콘텐츠 분석’ 의무 이재명 네이버 ‘주권침해’, 2025년 7월 12일자>
<인공지능 심리전 강화 이스라엘 이란 13일간 SNS 전쟁터, 2025년 7월 19일자>
<하노이 북미정상회담, 정보와 공작의 역전, 2019년 2월 25일자>
<언론전쟁 재연, 경제속도전에 가짜뉴스 공방, 2019년 8월 14일자>
<경제주도 코로나 방역에 비공개논의로 가짜뉴스 심리전, 2020년 8월 26일자> 참조
kimjc00@hanmail.net
AI's Inadequate False Information Detection, Lack of Expert Uncertainty Recognition, and Fact-Checking 'Spoofing Techniques'
Scientific journals have recommended a "hybrid" approach combining AI's inability to detect misinformation with the support of experts' lack of uncertainty recognition.
In professional reporting, newsroom staff have described the process of AI being judged as "incompetent" and "fact-checking" deviating from the truth as a disguising technique known as "plausibility packaging."
A report on AI's inability to detect misinformation stated, "Human evaluators still judged AI-generated papers to be inferior in structure, argument, and credibility." The journal Communication Psychology reported on the 6th that AI-generated papers "help regulate confidence and recognize uncertainty, acting as an initial filter to reduce errors in complex information environments."
Communications Psychology (Volume 4, 2026) is an open access journal selected by Nature Research and publishes high-quality research, reviews, and commentary across the spectrum of psychological research.
The paper, "Rethinking Misinformation Using Probability Estimation and Confidence Adjustment," was co-authored by three University of Maryland psychology professors: Valentin Guigon, Lucille Geay, and Caroline J. Charpentier.
The paper points out that in AI, information errors are a "secondary measure of inaccuracy" to the extent that fact-checking continues to be effective due to three factors: prior beliefs, partisan beliefs, and the limitations of AI-generated explanations, which provide an initial filter through which new information is passed for verification, reducing errors in complex information environments.
The paper explains that when information is incomplete, ambiguous, or socially controversial, people cannot directly verify the truth and rely on probability estimates. This involves assessing the likelihood of a claim's accuracy based on their current understanding, available contextual clues, and perceived source credibility.
Therefore, this approach cannot be immediately resolved; it requires ongoing accumulation and evaluation of evidence. The authors argue that in humans, this validation provides an initial filter through which new information flows and continues to guide judgment as evidence accumulates. Therefore, resilience to misinformation depends not only on this plausibility validation but also on people's ability to monitor what they know, recognize when claims are uncertain, and recognize and adjust when their confidence exceeds the strength of the evidence.
The paper states, "These 'metacognitive abilities' influence how beliefs relate to accumulated evidence and how they weigh various sources of information." They add, "Since near-perfect accuracy is impossible given time and attention constraints, and a more realistic goal is proportionality between confidence and evidence in claim evaluations, achieving accuracy requires reliable calibration, which is understood as accurately reflecting how plausible the belief is in light of the available evidence."
Regarding real-world decisions, the authors state, "Decisions are often binary: whether to get vaccinated, share information, or enroll in a program. Error is minimized when these choices align with well-adjusted probabilities." Ignoring minor discrepancies in dichotomies and acting when the odds are at their lowest—when plausibility is 55% rather than 45%—may seem trivial, but in many binary decisions, this small margin significantly reduces cumulative error.
In this case, in complex information environments, confidence in truth judgments often becomes "uncorrelated" with actual performance.
The authors stated, "Part of this disconnect stems from people misassessing their own understanding," confusing superficial knowledge or access to information with true understanding.
"While AI is increasingly positioned as a scalable solution to online misinformation, the real challenge goes beyond mere technical accuracy," Uractive said on the 12th. "Trust, political identity, and understanding how people form beliefs in uncertainty are crucial for the success of AI-based fact-checking."
Yuractive commented on this paper, stating, "Large Language Models (LLMs) can already verify claims at scale and influence user opinions, but they also highlight their structural limitations. Prior beliefs, partisan trust, and the limitations of AI-generated explanations continue to determine whether fact-checking is truly effective, and it reveals that the 'truth to plausibility' counterinformation strategy is based on an imperfect model of human reasoning."
The paper argues that current approaches to identifying fake news subinformation, such as fact-checking or media literacy campaigns, are primarily focused on helping people discover the truth and update their beliefs accordingly.
Indeed, the authors argue, people rely on rapid 'plausibility' judgments shaped by limited time, attention, prior knowledge, and social context.
As the paper points out, reasoning is "bounded and goal-directed," and individuals often evaluate whether information is useful or relevant, rather than strictly true or false. For this reason, "interventions" that simply provide accurate information are often short-lived or have limited effects.
The authors suggest focusing on "metacognitive abilities" rather than AI.
This helps people manage their confidence and recognize uncertainty, which can help reduce errors in complex information environments.
The authors note that "beliefs remain important," particularly in human judgments of accuracy and fairness.
The authors note that another experimental study, "automated fact-checking" relying on AI, "reaches similar conclusions from a different perspective," and that "rather than asking whether the system is technically accurate, the researchers found that people's prior attitudes strongly influenced their acceptance of AI-generated corrections."
In two experiments involving over 1,300 participants, the authors found that "users were more likely to reject fact checks that conflicted with their prior beliefs," and that "this effect was weakened when users were told that the AI system was highly accurate." The authors wrote, “This suggests that trust in the technology itself plays a central role in belief change,” and that the study’s findings “suggest that automated fact-checking is not a neutral technological solution.”
The researchers concluded, “The impact depends on users’ attitudes toward the system providing claims and corrections, highlighting the complexity of designing scalable interventions.”
Their large-scale LLM fact-checking application focuses on controlled experiments, and a recent working paper analyzing real-world behavior on Platform X demonstrates how rapidly AI fact-checking is scaling.
The study evaluated over 1.6 million requests from US users to the Grok and Perplexity bots from February to September 2025.
The study found that fact-checking requests account for a significant portion of interactions with these systems, with the most common question simply being “Is this true?”
The study found that political content dominates requests in fake news and disinformation disputes, and that fact-checking activity spikes during major news events.
The researchers cited a limitation of the study, stating that “there is a clear partisan dynamic,” and that “while each political faction favors different AI systems, both Republicans and Democrats are more likely to request fact-checks for posts from Republican-leaning accounts, which are also more frequently rated as inaccurate by the model.”
An interesting finding from the study was that “belief updates” “varied depending on the perceived identity of the AI model.”
Study participants responded differently to “identical fact-checking” results after learning which system generated them, revealing that “trust in the tool itself is politically mediated.”
In a separate study on newsrooms, the researchers examined whether AI could produce fully fact-checked articles comparable to those written by experts.
Interviewed fact-checkers told the researchers that high-quality articles should provide context, explain the origins of claims, and build a transparent argument from evidence to verdict.
Experts expressed “skeptical” about whether AI could meet these standards, citing concerns such as illusory sources and superficial reasoning. Although the proposed LLM system, powered by AI, improved over a simple baseline, human evaluators still judged the AI-generated papers to be inferior in structure, argumentation, and credibility.
The study found that “this is not simply a technological solution,” and that “while AI fact-checking is rapidly improving, it remains deeply embedded in social and psychological dynamics.”
While LLM appears capable of providing assessments that are broadly consistent with professional fact-checkers and can meaningfully shift user beliefs, the actual impact of these corrections depends heavily on trust, past attitudes, and political identity.
“Current AI systems still struggle to produce deeper inferences and transparent, context-rich explanations,” the researchers wrote. “This suggests a hybrid future for AI fact-checking, rather than pure automation. While machines can offer speed and scale, human editors and institutional safeguards will remain crucial for trust, transparency, and public trust.” “The central question for policymakers and platforms is no longer whether AI can fact-check,” Uractive said of this conclusion. “It’s more about how that fact-checking is perceived, trusted, and integrated into an increasingly polarized information ecosystem.”
The researchers concluded, "Addressing misinformation requires interventions that reflect this evaluation process, rather than relying solely on binary truth detection. Metacognitive training targets this overlooked dimension and is a promising complement to content-level approaches to combating misinformation."
In the introduction, the researchers pointed out a broader flaw: "Critical thinking training helps people identify argumentative cues and logical fallacies, and prebunking reliably improves short-term awareness of manipulation techniques." They added, "While fact-checking can correct targeted beliefs, this performance rarely translates into sustained resistance.
These interventions often rely on the assumption that improved error-detection skills will lead to revised judgments and ultimately more accurate beliefs.
This frames misinformation as a problem of truth detection." The introduction continued, “While normatively appealing, it is difficult to reconcile with the way people actually process information amid uncertainty, limited resources, and multiple goals.
Their ability to distinguish true from false claims depends more on how well they can track the plausibility of claims within limited time, knowledge, and attention than on the quality of their logical reasoning,” pointing out fact-checking that is moving further away from accuracy.
Contrary to the "sub-AI" assessment of the joint research by the University of Maryland's Brain and Behavior Institute and the Neuroscience and Cognitive Science Program in "Rethinking Misinformation through Probability Estimation and Confidence Adjustment," a paper by Research Professors Yeon-Joo Kim and Ki-Young Noh in the Korean Journal of Communication and Information Studies highly evaluated AI fact-checking as "likely to function as an important tool to weaken confirmation bias."
The paper, published on December 24, 2024, states that in an online experiment conducted with 960 adults nationwide in July 2024, participants who read fact-checking messages from human experts refuting information inconsistent with their existing beliefs showed lower trust in the news than those who read messages refuting information consistent with their beliefs. The results of this paper summarize that when people encounter fact-checking messages that refute information consistent with their beliefs, they "trust" existing information more. This suggests that fact-checking reduces confirmation bias and establishes information balance and accuracy.
This study's experimental design involved a combination of fact-checking by AI, human experts, crowdsourcing (a method of gathering multiple opinions), and a test to determine whether news reports on "universal healthcare" aligned with the subjects' beliefs.
The results showed that fact-checking messages from human experts had no significant impact (a news trust score of 0.31). Conversely, when reading AI fact-checking messages, the difference in news trust based on belief alignment disappeared (a news trust score of -0.41). This suggests that Koreans "trust AI more than experts."
This Korean study, quite different from the Maryland report, clearly revealed Koreans' bias toward AI and their "blind faith in AI."
Koreans' blind faith in AI appears to be a consequence of their government-led AI powerhouse and stock-dependent economy.
See <EU AI Law Mandates Analysis of Algorithm Training Content, Lee Jae-myung Calls Naver a "Violation of Sovereignty," July 12, 2025>
<AI Psychological Warfare Strengthens, Israel and Iran 13-Day Social Media Battleground, July 19, 2025>
<Hanoi North Korea-US Summit: A Reversal of Information and Operations, February 25, 2019>
<Media War Rekindled, Fake News Battle in the Economic Speed Race, August 14, 2019>
<Fake News Psychological Warfare as Private Discussions on Economy-Led COVID-19 Response, August 26, 2020>
AI, LLM, fake news, verification, metacognition, belief, disguise, fact-checking, hybrid, disinformation, Confirmation bias, blind faith in AI, prejudice,