AI한테 자료 많이 주면 멍청해진다고?
연구 결과 나왔다 Context Rot
AI에 자료 많이 넣으면 똑똑해진다? 오히려 바보 됩니다.
최신 연구에서 밝혀진 AI 성능 저하의 비밀, "Context Rot" 현상 집중 분석!
AI 활용 효율을 2배 높이는 "AI 다이어트" 전략을 공개합니다.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
월요일 오후 2시, 지옥의 시작
"자, 이제 시작이다!"
김대리는 책상 위에 쌓인 자료를 보며 의욕에 불탔다.
오늘의 미션: AI 스타트업 투자 유치 기획서 작성
마감: 내일 오전 9시 (김부장 최종 검토)
'Gemini Advanced 있으니까 뭐... 금방 끝나겠지.'
김대리는 준비한 자료를 하나씩 Gemini에 업로드하기 시작했다.
업로드 중...
✓ 2024_AI시장동향_분석보고서.pdf (287페이지)
✓ 글로벌_AI_투자사례_모음집.pdf (195페이지)
✓ 국내_스타트업_성공사례_연구.pdf (342페이지)
✓ 투자유치_성공_기획서_100선.pdf (456페이지)
...
✓ AI_기술_트렌드_2025.pdf (189페이지) 총 20개 파일, 3,847페이지 업로드 완료!
"좋아, Gemini야! 이 자료들 다 참고해서 우리 회사 AI 신사업 투자 유치 기획서 써줘!"
30초... 1분... 3분...
Gemini: "AI 기술의 발전은 인류 역사상 가장 중요한... 1956년 다트머스 회의에서 처음 AI라는 용어가... 현재 글로벌 AI 시장은 다양한 측면에서... 투자 유치를 위해서는 먼저 시장을 이해하고... 그런데 한국의 경우 특수한 상황이... 아, 맞다. 기술 트렌드도 중요한데..."
김대리의 표정이 굳어갔다.
"아니... 뭐라는 거야?"
정사원의 발견
"대리님, 뭐 하세요? 표정이..."
정사원이 커피를 들고 다가왔다.
"아... Gemini가 이상해. PDF 20개 넣었더니 횡설수설하기 시작했어."
"PDF 20개요? 그거 총 몇 페이지예요?"
"한... 4천 페이지 정도?"
"히익..너무 많은거 아니에요?"
정사원이 핸드폰을 꺼내 뭔가를 검색하기 시작했다.
"대리님, 이거 보세요!"
"Chroma 연구팀 발표 충격...
AI에 정보 많이 넣으면 오히려 바보 된다고?
Context Rot 현상 발견 #AI #ChatGPT"
"Context... Rot?"
이과장의 등장
"김대리, 뭐 해? 표정이 왜 그래?"
팀의 에이스 이과장이 지나가다 멈췄다.
"과장님! Gemini가 이상해졌어요. PDF 20개 넣었더니..."
이과장이 김대리의 화면을 보더니 픽 웃었다.
"아, Context Rot 당했네."
"그게 뭔데요?"
이과장이 의자를 끌어와 앉았다.
"최근에 나온 연구인데, AI한테 정보를 너무 많이 주면 오히려 성능이 떨어진대.
Chroma라는 회사에서 7월에 발표했어."
이과장의 설명:
� 주의력 분산 "4천 페이지 중에 뭐가 중요한지 AI가 판단을 못하는 거야."
� 처리 용량 한계 "사람도 책 20권 동시에 읽으면서 요약하라면 못하잖아."
� 노이즈 증가 "필요한 정보가 쓸데없는 정보에 묻혀버리는 거지."
정사원의 심화 조사
"과장님, 제가 Chroma 연구 좀 더 찾아봤는데요..."
정사원이 노트북을 들고 왔다.
"와... 이거 봐요. 18개 AI 모델 전부 테스트했대요!"
[Chroma 연구 - 테스트 모델]
GPT-4.1, GPT-4 turbo, GPT-3.5
Claude Opus 4, Sonnet 4, Sonnet 3.5
Gemini 2.5 Pro, 2.5 Flash, 2.0 Flash
Qwen3 시리즈 (72B, 32B, 8B)
"근데 더 충격적인 건..."
정사원이 그래프를 보여줬다.
[실험 결과]
GPT-4.1: 1,000토큰에서 99.3% 정확도 → 32,000토큰에서 69.7%로 하락!
64,000토큰 넘으면 성능 급락 시작
2,500~5,000단어 넘으면 아예 거부하기도
"헐... 이렇게 차이가 나?"
오후 6시, 이과장의 추가 설명
이과장이 화이트보드에 그림을 그렸다.
"더 재밌는 건, AI마다 반응이 달라."
[모델별 특징]
� Claude 계열
헷갈리면 "모르겠다"고 솔직히 말함
환각(헛소리) 적음
� GPT 계열
헷갈려도 뭔가 그럴듯하게 지어냄
자신감 넘치는 헛소리 주의!
"체계적으로 잘 정리된 문서가 오히려 검색을 방해한대."
"네? 그게 무슨..."
"문서의 논리적 흐름을 따라가느라 정작 필요한 정보를 못 찾는 거지. 랜덤하게 섞인 텍스트가 오히려 나아."
해결책 찾기
"그럼 어떻게 해야 돼요?"
"AI 다이어트 3단계"
1단계: 정보 분류 "20개 PDF를 주제별로 나눠"
2단계: 핵심 추출 "각 주제에서 가장 중요한 것만"
3단계: 단계별 질문 "한 번에 하나씩만 물어봐"
정사원이 손을 들었다.
"Chroma 연구에서 권장하는 토큰 수가 있나요?"
이과장이 고개를 끄덕였다.
"1,000토큰 미만으로 유지하래. 그 이상 넘어가면 성능이 떨어지기 시작해."
김대리의 재도전
"좋아, 다시 해보자!"
김대리가 새로운 전략으로 접근했다.
Round 1
김대리: "2025년 AI 투자 트렌드 TOP 3만 알려줘" (문서 2개만 선택)
Gemini: "1. 생성형 AI 고도화 2. 산업특화 AI 솔루션 3. AI 안전성/신뢰성"
Round 2
김대리: "우리 회사가 집중할 분야는?" (우리 회사 강점 분석 문서 1개)
Gemini: "산업특화 AI 솔루션 - 특히 금융/의료 분야 강점"
Round 3
김대리: "이제 투자 유치 기획서 초안 작성해줘" (앞의 요약 결과만 활용)
Gemini: [깔끔한 기획서 초안 생성]
"와... 진짜 되네!"
다음날 아침, 김부장 리뷰
"김대리, 기획서 잘 봤어. 포인트가 명확하고 논리적이야."
김대리가 속으로 생각했다.
'AI도 소화할 수 있을 만큼만...'
정사원이 옆에서 속삭였다.
"대리님, 이제 AI 다이어트 전문가시네요!"
일주일 후, 팀 공유
이과장이 팀 회의에서 발표했다.
"Context Engineering 도입 결과"
AI 응답 정확도: 45% → 89%
문서 작성 시간: 5시간 → 1.5시간
재작업률: 70% → 15%
"핵심은 '단계별 접근'입니다. 한 번에 1,000토큰 이하로 나눠서 질문하면 훨씬 정확해집니다."
"김대리님!"
정사원이 달려왔다.
"저도 성공했어요! 시장조사 보고서 단계별로 나눠서 했더니 완벽해요!"
김대리가 뿌듯한 표정을 지었다.
"이제 정사원도 AI 다이어트 코치네?"
옆에서 듣던 이과장이 웃었다.
"우리 팀이 이제 AI 다이어트 센터가 됐네. 다른 팀에서도 배우러 온대."
휴게실에서 커피를 마시던 중.
옆팀 대리: "김대리님, AI 활용법 좀 알려주세요!"
김대리가 씨익 웃었다.
"간단해요. AI한테 폭식시키지 마세요. 조금씩 나눠서 먹이면 됩니다."
벤더사 관계자: "우리 회사도 비슷한 문제가 있었는데, 이 방법 써보니 확실히 좋더라고요!"
그날 이후 김대리 팀은 **'AI 다이어트 전도사'**로 불리게 되었다.
회사에는 새로운 원칙이 생겼다.
"AI도 소식이 좋다.(배 80% 채우기)"
� 오늘부터 실천하기
현재 AI에 넣는 자료 양 확인
1,000토큰 단위로 나누기
단계별로 질문하기
"당신도 AI를 과식시키고 있진 않나요?"
━━━━━━━━━━━━━━━━━━━━━━━━━━━
� 참고자료
Chroma Research: "Context Rot: How Increasing Input Tokens Impacts LLM Performance" (2025.07.14)
GitHub: https://github.com/chroma-core/context-rot
연구 보고서: https://research.trychroma.com/context-rot
테스트 모델: GPT-4.1, Claude 4, Gemini 2.5 등 18개 최신 LLM
핵심 발견: 토큰 수가 증가할수록 모든 AI의 성능이 비균일하게 저하
� AI 활용 꿀팁이 더 필요하신가요? 댓글로 알려주세요!
