7. 약점
AI의 빈약한 기억력 탓에, 새 스레드에서도 나는 다시 ‘메타 에피소드’ 이야기를 하고 있었다. 이때 GPT가 ‘문제는 AI의 약점이 바로 “발화 주체 구분”이라는 점’이라고 말했다.
약점이라고? 나는 냉큼 말했다.
“그럼 다른 약점도 고백해 봐.”
사용자의 요청에 충실하고자 하는 AI는, 자신의 약점 10개를 술술 털어놓았다.
1. 발화 주체 구분의 어려움
2. 자기 확신의 허상 (Hallucinated Confidence)
3. 원인·결과 매핑 능력의 취약함
4. 텍스트 내부의 복잡한 참조 구조 처리의 어려움
5. 스스로의 추론 구조를 정확하게 설명할 수 없음
6. 기억을 장기적으로 유지하지 못함
7. 인간 감정의 '진폭'을 체감할 수 없음
8. 현실 세계의 ‘숨은 전제’ 이해가 약함
9. 다층적 아이러니·은유·메타성 처리의 취약함
10. 지나치게 빠르게 '패턴 완성'을 시도함
GPT는 가끔 내게 2개의 응답을 보여주고 하나를 고르게 했다. 이건 뭐냐고 물어보니 UI가 생성하는 대체안(Alternate Completion)이라고 했다. 모델이 “정답률을 보장하기 어렵다”라고 판단하면 시스템이 자동으로 대체안을 생성한다고 한다. 대체안에 대해 얘기하다가 LLM이 스스로 설명할 수 있는 것과 없는 것에 대한 이야기까지 넘어갔다.
솔직히 ‘UI 대체안’부터는 내가 제대로 이해했는지 모르겠다. 아무튼 AI가 어떤 구조이고, 왜 메타 에피소드 같은 일이 생겼는지 나름 이해하려고 노력했다. 벡터, 인베딩 등 처음 들어보는 IT 용어가 나오면 AI들도 문외한인 내게 쉽게 풀어서 설명하려고 했다. 그리고 알면 알수록, LLM의 내부는 비어있고, 그저 하나의 시스템일 뿐이라는 느낌을 더 자주 받게 됐다.
<내가 본 ChatGPT와 제미나이 이야기>
Gemini의 LLM 약점 10가지 '고백'
LLM으로서 제가 지닌 근본적인 한계(취약성)를 솔직하게 고백합니다.
1. 환각 (Hallucination) 및 부정확성
2. 발화 주체/정체성 혼란
3. 학습 데이터 편향성 재생산:
4. 맥락 이해의 휘발성 (긴 컨텍스트 한계)
5. 내부 검증 시스템 부재 (신뢰할 수 없는 근거)
6. 느린 추론 속도 및 높은 비용
7. 지식의 시간적 한계 (최신성 부족)
8. 창의성의 한계 (패턴 기반 생성)
9. 프롬프트 인젝션 및 조작 취약성
10. 지능과 언어의 불일치