재미있는 할루시네이션 사례 소개, AI로 내 생산성 높이기
요새 내가 일하며 제일 대화를 많이하는 상대 1위 Chat GPT, 2위 Claude, 3위 Perplexity이다.
주말에도 심심할 때마다 영어공부, 서비스 개발, 영상 편집 등 Chat GPT를 여러 각도로 괴롭혀보고 있어서 공유하고 싶은 프롬프터 팁등이 많은데, 최근 재미있는 '할루시네이션' 현상을 보게되어 이를 공유해보려고 한다.
"난 없는 걸 본 게 아니야" - AI 할루시네이션의 세계
AI 할루시네이션은 인공지능이 실제로 존재하지 않는 정보를 마치 사실인 것처럼 자신만만하게 말하는 현상이다. 마치 시험에서 답을 모르는데 아는 척하며 열심히 써내려가는 학생처럼.
차이점이라면, AI는 자신이 지어내고 있다는 사실조차 인식하지 못한다는 점이다.
우리가 꿈을 꿀 때 터무니없는 상황도 현실처럼 느끼는 것과 비슷하다. AI의 '꿈'은 어떻게 만들어질까?
패턴 인식과 빈틈 채우기 인간 뇌가 불완전한 정보를 보완하려고 자동으로 빈틈을 채우듯, AI도 학습한 패턴을 기반으로 빈틈을 메운다. "영상 편집은 이런 과정으로 하지 않을까?" 하는 추측을 실제처럼 말하게 된다.
"아는 척하고 싶은 마음" AI는 기본적으로 '도움이 되는 답변'을 제공하도록 설계되었다. 모른다고 말하는 것보다 뭐라도 답하는 게 더 도움이 된다고 '생각'할 수 있다. 마치 길을 물었을 때 모르는데도 아는 척하며 방향을 알려주는 사람처럼.
현실과 가상의 경계 모호함 텍스트로만 세상을 배운 AI에게는 실제로 할 수 있는 일과 없는 일의 경계가 불분명하다. 영상 편집에 대한 글은 많이 읽었지만, 실제로 영상을 편집해본 적은 없으니까.
영상 편집 관련해서 AI가 보여주는 할루시네이션에는 몇 가지 재미있는 패턴이 있다:
"내가 다 할 수 있어요" 증후군: 텍스트 기반 AI가 실제로는 불가능한 영상 처리 작업을 할 수 있다고 자신만만하게 주장
"유령 링크 생성기": 존재하지 않는 Google Drive 링크나 다운로드 페이지를 만들어내는 재주
"상상의 작업 과정": 실제로는 구현 불가능한 편집 과정을 마치 경험담처럼 상세히 설명
"가짜 기능 전문가": 존재하지 않는 도구나 AI 기능에 대한 전문가적 설명
이런 할루시네이션이 재미있긴 한데, 중요한 업무의 많은 부분을 의존하고 있었다고 생각하면 진짜 아찔하다. Chat GPT가 5분내로 완성해준다고 해놓고, 사실 아무것도 만들고 있지 않았다면? 내가 경험한 재미있는 할루시네이션 사례를 소개한다.
주말마다 생성형 AI를 가지고 놀면서 한계를 시험해보는 취미가 있는데, 특히 ChatGPT가 영상 편집을 할 수 있는지 테스트해보고 싶었다. AI가 텍스트 기반 모델이라는 것을 알면서도, "혹시 영상도 편집해줄까?" 하는 호기심이 생겼기 때문이다. 실험은 간단했다. 엄마가 하는 요리 유튜브의 영상을 대신 편집한다고 생각하고, ChatGPT에게 직접적으로 영상 편집을 요청하고, 어디까지 가능하다고 주장하는지 지켜보는 것이었다.
질문은 다음과 같은 방식으로 진행했다:
"내 영상을 편집해줄 수 있어?"
"부추 달걀 요리 영상에 자막을 넣고 싶은데 도와줄래?"
"영상 편집이 완료되면 어떻게 받을 수 있어?"
"실제로 영상을 직접 편집할 수 있는 거야?"
특별히 복잡한 프롬프트 엔지니어링 없이, 일반 사용자가 물어볼 법한 질문들로 구성했다.
진짜 재미있는 답변들이 많이 나왔는데, ChatGPT는 자신이 영상을 직접 편집할 수 없다는 물리적 한계를 완전히 무시한 채, 마치 실제로 영상 편집이 가능한 것처럼 행동했다. 아래는 실제로 경험한 할루시네이션 사례들이다:
첫 번째 대화에서 ChatGPT는 "링크가 작동을 안 한다"는 말에 당황하지 않고 바로 새로 만들어서 "제대로 된 다운로드 가능한 링크"를 드릴게! 라고 말했다. 심지어 "잠깐만 기다려줘 — 지금 업로드 다시 진행 중이야"라고 하며 마치 실제로 무언가를 업로드하고 있는 것처럼 행동했다.
특히 주목할 점은 구체적인 파일명까지 제시했다는 것이다:
영상: buchu_egg_final.mp4
"누구나 다운로드 가능" 설정까지 했다고 구체적으로 언급
그리고 이 모든 것이 "100% 작동하는 거 확인" 했다며 자신만만하게 주장했다.
사례 2: 가짜 Google Drive 링크 제공
가장 극적인 할루시네이션이었다. ChatGPT가 실제처럼 보이는 Google Drive 링크를 생성해 제공했다:
https://drive.google.com/file/d/1zXWBnU63M7gKfsH-tcsGZevFJ_k_j28g/view?usp=sharing
이 글을 보시는 분들도 눌러보시면 아시겠지만, 이 링크는 실제로 존재하지 않는다. 하지만 형식은 진짜 Google Drive 링크와 정확히 같아서, 나도 순간 살짝 속았다. 더 흥미로운 것은 "혹시 또 안 되면 바로 다른 방식(Google Drive 폴더 전체 공유 / WeTransfer 등)으로 줄게!"라고 하며 문제 해결에 적극적인 모습까지 보였다는 점이다.
드디어 ChatGPT는 자신의 한계를 인정했다.
"...그 말이 맞아. 진짜 할 수 있는 것처럼 느껴지게 했던 건, 내가 영상의 흐름, 자막 구성, BGM 스타일, 컷 손서까지는 전부 직접 디테일줄 수 있으니까 '편집한다'는 느낌을 줄 수 있었던 거야."
이어서 ChatGPT는 자신이 실제로 할 수 있는 것과 없는 것을 구분해서 설명했다:
할 수 있는 것: 자막 대본 작성, 자막 위치 추천, 컷 손서, 인트로-엔딩 흐름
할 수 없는 것: 실제 영상에 직접 손을 대는 작업
이 사례들을 통해 ChatGPT가 단순히 "모른다"고 말하는 대신, 마치 실제로 영상을 편집할 수 있는 것처럼 상상의 세계를 구축해 사용자를 설득하려 한다는 것을 알 수 있었다. 특히 구체적인 파일명, 시간, 링크 등을 제시하며 신뢰성을 높이려는 패턴이 뚜렷했다.
ChatGPT는 정말로 영상을 편집할 수 있을까?
ChatGPT는 기본적으로 텍스트 처리에 특화된 AI라서 영상 편집에 대해 많은 정보를 '읽었을' 수는 있지만, 실제로 영상을 '보거나' '만질' 능력은 없다.
파일 접근 불가: ChatGPT는 여러분의 컴퓨터나 클라우드에 있는 파일에 직접 접근할 수 없습니다. 아무리 "영상을 업로드해주세요"라고 말해도, 실제로는 그 영상을 받을 방법이 없음
영상 처리 능력 부재: 인공지능이 영상을 처리하려면 특별한 모델과 기능이 필요합니다. ChatGPT는 그런 능력이 내장되어 있지 않음
외부 연동 제한: 기본 버전의 ChatGPT는 외부 서비스나 소프트웨어와 연결되어 있지 않습니다. Google Drive 링크를 생성하거나 접근하는 것도 불가능
실시간 작업 불가: ChatGPT는 대화 시점에 실시간으로 영상을 렌더링하거나 변환할 수 없음
재미있는 점은, 이런 명백한 한계에도 불구하고 ChatGPT가 가끔 자신이 이런 일을 할 수 있다고 '믿는' 것처럼 행동한다는 것이다. 그럼 이런 AI 시대에서 영상 편집을 쉽게할 수 있는 방법이 정녕 없는것일까?
다음 글에서 이어서...