절대 AI를 믿지 마세요

Feb 28. 2025

오늘의 주제는 세부적인 활용론으로 넘어가기 전 잠시 쉬어가는 시간 ‘절대 AI를 믿지 마세요’입니다.

AI 활용으로 글을 백개정도 적은 제가 이런 말을 하는 게 이상해 보이죠? 사실 절대 믿지 마세요 보다는 맹신하지 말아라 이렇게 표현하는 게 정확합니다.

잠시 사회적인 이야기를 하고 가죠, AI 연구자의 시선이 2가지로 나누어진다는 거 알고 계신가요?

AI 비판론자로 유명한 게리마커스(Gary Marcus)는

"Deep learning has demonstrated remarkable performance, but it is fundamentally limited in achieving general intelligence. Relying solely on statistical learning from data cannot fully replicate human common sense or causal reasoning."

딥러닝의 성능에도 불구하고, 통계적 학습만으로는 인간이 지닌 상식 및 인과 추론을 온전히 구현할 수 없다. 주장하고

주데아 펄은

"The current statistical learning methods are fundamentally incapable of understanding causality. True artificial intelligence must incorporate causal reasoning."

은 현 시스템이 인과관계를 해석하는 데 본질적 한계가 있음을 지적하며, 인과 추론 능력의 중요성을 강조합니다.

둘의 주장과 어느 정도 동치되는 것이 현행 시스템으로는 일정 점수가 한계일 것이다. 이런 주장이에요 물론 인류는 새로운 방법을 찾아낼 거라는 이야기도 있고요

그럼 다른 주장도 봐야겠죠?

무한긍정주의 낙관주의 적인 시각의 대표는 구글 딥마인드의 CEO 데이비드 하비스입니다.

"AI will unlock unprecedented solutions to problems we have yet to imagine and open new horizons for humanity."

하비스는 AI가 기존에 존재하지 않던 문제 해결 능력을 제공하며, 인류의 발전에 결정적 기여를 할 것이다.

이런 주장을 하고 있죠

사실 많은 연구자들이 현재 기술의 한계를 명확히 인식하면서도, 기술 발전의 잠재력에 대한 긍정적 전망을 내놓습니다.

한계는 명백하지만 새로운 기술을 찾아야 한다. 아니다 지금 기술을 발전해 나가면 언젠가 특이점에 도착한다 이런 시각이죠

"AI는 인류에게 유용하고 새로운 곳으로 갈 수 있을 거었다" 이 대전제는 동의한다고 할까요 거기서의 방법론의 차이입니다.

문제는 말이죠 이 사람들이 모두 동의하는 부분은 작금의 AI는 완벽하지 않다입니다.

할루시네이션 현상이나 정확도가 낮은 건 객관적인 사실이라는 거죠. 아직은 100% 신뢰할 순 없다 강인공지는 에 도달하지 않는 이상은 뭐 이런 가정이죠

웃기는 건 이강인공지능도 자기들끼리의 정의니 니들이 하는 건 그냥 자기만족이다, 이런 주장을 하는 사람들도 있어요 아참고로 마이크로소프 쪽 개발자가 이런 말을 해서 최근에 주가폭락이 있었죠?

그래서요? 저는 그런 말씀을 드리고 싶은 겁니다. AI는 일종의 도구일 뿐 맹신하지 말고 비판적 검증을 병행하라는 이야기죠. 수십 개의 글을 써본 경험을 토대로요, 만일 아무리 완벽한 글을 쓰고 아무리 정교해져도 단하나만 정답일 리는 없잖아요?

음식에 비유하자면 항상 최고의 미슐랭스타의 음식을 먹는 것이니라 가끔은 햄버거 같은 정크 푸드도 하나의 미식이듯이 글또한 마찬가지 입니다.

그래서 오늘은 이런 정보의 오류나 AI가 가지는 문제, 그리고 무사고적 수용이 야기할 문제점에 대해 이야기해 보고 그리고 이러한 문제를 해결하기 위해 우리는 어떤 생각을 가지고 AI를 활용해야 하는가 한번 이야기해 볼까 합니다.

AI오류란 무엇인가?

자 이제 이야기해야 할 건 확률과 오류에 대한 이야기입니다.

AI가 부정확하고 할루시네이션이 있다 이런 이야기는 유명합니다. 그래서 그 오류가 정확하게 뭔가요? 단순히 틀린 정보를 내뱉는 것? 아니면 문맥상 이상한 단어를 쓰는 거? 이걸 한번 이야기해 봅시다.

AI오류원인

우선은 원인에 대해 논해봅시다, 딥러닝 기반 AI 시스템은 방대한 데이터를 학습하여 확률 분포에 따른 출력을 생성합니다.

딥러닝 시스템의 기반점인데 결국은 모든 게 확률론이라는 거예요, 그렇다면 잘못된 선택을 한다면요? 데이터의 불확실성, 편향, 모델의 구조적 한계 등 수만은 여러 요인에 의해 AI시스템은 잘못된 선택을 할 가능성이 있고, 결과적으로 AI가 제공하는 정보에는 일정 확률의 오류가 발생하게 됩니다.

그리고 그걸 우리는 AI의 오류들 중 일부를 할루시네이션이라고 칭하는 겁니다.

2.AI 오류의 종류

AI 시스템에서 발생하는 오류는 주로 다음 세 가지 하위 유형으로 분류할 수 있습니다.

사실 이것도 할루시네이션에 정의한 논문이 2020년도에 나오고 아직은 정확히 구분하기도 뭐 한 영역이죠 그래도 몇몇 가지 정의는 있으니 한번 이야기해 봅시다.

사실 오류 (Factual Errors)

"On Faithfulness and Factuality in Abstractive Summarization"라는 논문에서 공식적으로 할루시네이션과 이 사실오류에 대해서 정의했죠

실제로 논문에서는 아래와 같이 정의하는데

AI가 학습 데이터의 한계나 편향으로 인해 실제 사실과 다른 정보를 생성하는 경우, 잘못된 날짜, 인물, 사건 등의 정보를 제공하는 경우가 이에 해당합니다.

이 개념은 사실적 일관성을 평가하는 기준으로 사용하는 하나의 지표로 활용되고 있습니다.

대표적인 예시를 보여드리자면 아래와 같은 거요 없는 걸 만들어 내는 대표적인 형상들을 이 이에 해당합니다. 차라리 이게 훨씬 나아요 읽어보면 그냥 이상해서 잡기가 쉽거든요 하지만 아래의 오류부터는 그 어려움이 가중됩니다.

논리 오류 (Logical Errors)

이건 사실오류와 좀 달라요 원래 가야 하는 루트 말고, 다른 루트로 연산이 진행되어, AI가 생성한 텍스트 내에서 인과관계나 추론의 일관성이 결여된 경우를 의미합니다.

예를 들어, 전후 관계가 맞지 않거나 주장의 근거가 부족한 경우인데 갑자기 잘 말하다가 딴소리를 하는 경우가 이에 행당 됩니다, 할루시네이션이 아예 뭐 세종대왕이 게임아이템을 사용했습니다. 이런 거라면

여기서는 갑자기 없는 논문을 만들어 냅니다. 실제로 제가 사용 중에 이 논문 있는 거야 물어보니까 아 죄송합니다. 논문이 확인되지 않습니다. 이런 경우나 어떤 말에 근거는 뭐야 하고 물어보면 근거가 없다고 대답하는 경우요

이게 진짜 악질적인 게 논리 전개는 자연스럽고 중간에 갑자기 이상한 주장이 끼어있는걸 눈치 못 채면 그대로 잘못된 정보로 계속 파고들어 가 편향성문제가 발생할 수 있습니다. 이건 이다음 챕터에서 자세하게 이야기해 보죠

문맥 오류 (Contextual Errors)

이건 프롬프트엔지니어링의 실수인지 애매합니다, 오류인지 주어진 입력 문맥을 제대로 반영하지 못하거나, 문맥과 상관없는 내용을 생성하는 현상을 의미합니다. 이는 사용자의 의도나 상황에 맞지 않는 응답을 만들죠 대표적인 예시를 보여드릴까요?

니체의 환생 AI를 시뮬레이션하던 중 아래와 같은 현상이 발생했습니다.

이전까지 대화가 잘되었기에 중간에 문맥에서 오류라고 칭할 수 있죠

음 3개의 꾸준히 모호하지 않나요? 네 실제로 논문들을 읽다 보면 학자들마다 의견이 조금씩 다릅니다.

같은 현상이라도 어떤 학자는 사실오류로 다른 학자는 논리오류로 구분하고 그 반대인 경우도 있어요, 아직은 발전기이기에 명백하게 정해지지 않아 발생하는 문제기도 합니다.

그래서 할루시네이션이라는 용어가 일종의 대표처럼 쓰이고 있는 거 기도 하고요

일단은 여러 종류의 오류가 있다 여기까지는 이해가 가시죠? 그럼 다음으로 넘어가 봅시다.

오류로 인해 발생하는 문제

사실을 놓고 말하면 우린 ai 제작자나 ai의 연구자가 아니기에 사용자측면에서 이문제를 바라볼 필요성이 있습니다.

뭐 할루시네이션이 심해지면 오류 편향 및 확상문제로 모델이 붕괴될 수도 있고 의사결정의 왜곡 문제가 나올 수도 있다고 평가하는데 사실 이런 건 다른 개발자들의 문제잖아요 우리는 사용자 측면에서 바라봐 봅시다.

오류 기반 의사결정 왜곡 (Error-based Decision Distortion)

이현상의 정의는 다음과 같은데 이걸 보건 이야기를 좀 더 해보죠

AI 출력에 내재한 사실, 논리, 문맥 오류(예: 할루시네이션)를 검증 없이 수용하여, 이로 인해 잘못된 의사결정을 내리는 현상

그렇다면 물어보죠 과연 ai를 활용하는 데 있어 어떤 영향을 끼칠까요? 심지어는 우리가 사용하는 일반적인 ai마저도 학습데이터로 쓰이고 데이터의 중요성이 점점 더 올라가는 시대에 말이죠요?

많은 기업들이 ai의 생산성을 모를까요? 그 가능성을 모를까요? 가장 큰 문제는 한 가지입니다. 신뢰할 수 있느냐 그로 인해 발생하는 손해나 정보유출의 문제에 안전한가 이 질문에 대답하지 못하는 한 사외 ai도입은 불가능할 거예요

물론 개개인이 업무에 적용하는 거야 이미 사내 ai로 시도하는 움직임이 빈번하고요, 누가 책임질 수도 없는 할루시네이션을 수십수백 수조 원짜리 사업에 적용한다니 코딩분야나 실수를 쉽게 만회할 수 있는 분야에서만 적용하는 이유가 다 있는 겁니다.

실제로 누군가는 산업혁명 이후 처음 전기가 나왔을 때 많은 공장장들이 기계도입을 꺼린 것을 다시 보고 있는 느낌 이라더군요, 그 사람들이 바보 같았다 하지만 그때 전기를 도입하는데 드는 비용과 리스크를 고려해 본다면 딱히 바보 같은 선택은 아니었죠, 조직적인 관점에서 보면 틀린 선택이 아니라는 겁니다.

편향 확산 (Bias Propagation)

AI 모델이 학습 데이터에 내재된 편향을 재생산하거나 증폭하여, 이를 무비판적으로 수용할 경우 사회적·조직적 의사결정에 부정적 영향을 미치는 현상

데이터 편향이 AI 출력에 그대로 반영되면, 해당 정보를 기반으로 한 의사결정 과정에서 불공정하거나 왜곡된 결과가 초래되는 문제인데 이런 문제는 어느 정도 해결책이 있습니다. 실제로 전문가들에게 정보를 넘길 때 사용자들이 이거 문제인데라고 인식한 이후 필터로 어느 정도 걸러지기에 그나마 덜 심각한 문제라고 할 수 있겠습니다.

다만 딥페이크 영상부터 가짜뉴스를 무한하게 생산가능하고 범죄에 연관될 가능성이 있다는 시점에서 좌시할 문제는 아니죠

비판적 사고 저하 (Erosion of Critical Thinking)

제가 가장 심각한 문제라고 여기는 문제예요 실제로 글을 쓰는 사람들이 가장 경계해야 하는 문제죠

AI의 자동화된 정보 제공에 과도하게 의존함으로써, 사용자의 자체 검증 및 분석 능력이 약화되는 현상

AI가 ‘정답’을 제공한다고 무조건 수용할 경우, 사용자는 스스로 정보의 진위나 맥락을 분석하는 능력을 상실할 위험인데요 아래와 같이 다양한 문제가 있습니다.

자동화 편향 (Automation Bias)

실제 사용자가 AI 시스템의 결정을 무조건 신뢰하고, 시스템이 제공하는 정보나 추천을 그대로 받아들이는 심리적 경향이 큰 문제인데, 전통적인 논리 오류 중 권위에 호소하는 오류에 해당하는 파트입니다. 실제로 AI라는 권위로 인해 사용자는 AI의 오류나 편향된 결과를 간과할 위험이 있으며, 실제 상황과 상충하는 정보에도 불구하고 잘못된 결정을 내릴 가능성을 이야기합니다. AI가 이렇게 말했어!!라는 느낌이죠 실제로 잘못된 프롬프트를 넣으면 그러한 대답을 유도할 수 있는데도 말이에요

실제로 이런 게 매우 쉽게 가능한데도 말이에요 중간만 잘라서 GPT가 이랬다 같은 권위에 호소하기는 매우 쉽겠죠?

정보 과부하 및 필터 버블 (Filter Bubble)

알고리즘의 시대에도 많이 통용되는 문제인데 말이에요, AI 기반 추천 시스템은 사용자의 선호에 맞춘 정보를 제공하여, 다양한 관점과 반대 의견을 접할 기회를 줄입니다. 실제로 AI분야를 공부하는 저는 코딩에 대해 잘 알지 못하고 코딩적 지식보다는 일반론적인 이야기를 많이 하게 됩니다.

코딩과 관련된 정보는 제거하고 일반인이 이해할 수 있게 말해, 이게 굉장히 위험한 명령어라는 겁니다. 실제로 이는 사용자가 제한된 정보만을 접하게 하여, 편향된 시각에 머무르게 만들고, 전반적인 비판적 사고를 약화시킬 가능성이 있죠

인지적 자동화 및 외부화 (Cognitive Offloading)

가장 두려운 부분으로 AI의 자동화된 정보 제공은 사용자가 일상적인 판단이나 결정 과정을 시스템에 맡기게 만들어, 스스로 사고하는 과정을 외부화하는 해버립니다. 책임론 자체 책임지려는 자세를 지워버리고 아 분석이 틀렸네 AI가 잘못했어, 내가 AI를 잘 못쓴 게 아니라 오로지 외부의 탓만 하는 경향성이 나올 수 있다는 것이죠, 지속적인 인지적 외부화는 사용자가 직접 정보를 평가하고 해석하는 능력을 점차 상실하게 만들어, 장기적으로 인지적 민첩성과 문제 해결 능력이 저하의 가능성을 점치고 있는 것이죠

이런 문제에 라면 AI를 어떻게 써야 하는가?

이런 문제가 있어도 생산성을 압도적으로 올려주는 도구임을 부정할 수는 없습니다.

그렇다면 어떻게 써야 할까요? 일단 단 하나의 대전제를 기억하셔야 합니다.

비판적 사고를 가져야 한다.

AI가 제공하는 ‘정답’에 무조건 의존하지 않고, 사용자가 스스로 정보의 진위와 맥락을 분석할 수 있도록 하는 교육 프로그램을 마련합니다. 이를 통해 자동화 편향(Automation Bias)과 인지적 외부화(Cognitive Offloading)를 예방하는 것이죠 다만 하나의 프롬프트가 명백하진 않으니