파일 첨부도 문제가...
첨부해도 토큰이 소모되는 구조
브런치 글 초고를 PDF로 만들었다. 30페이지. 공들여 쓴 글이었다. Claude에 올리고 짧게 입력했다.
"전체적으로 다듬어줘."
결과물이 왔다. 앞부분은 훌륭했다. 문장이 살아났고, 흐름이 매끄러워졌다. 흐뭇하게 스크롤을 내렸다. 그런데 20페이지쯤부터 뭔가 이상했다. 손을 거의 안 댄 것 같았다. 원본이랑 거의 차이가 없었다.
AI가 게을렀던 걸까? 또 내가 모르는 뭔가가 있는 건가?
그랬다....
첨부 파일은 어디로 가는가
많은 사람이 파일 첨부를 이렇게 생각한다.
'AI가 파일을 저장해 두고, 필요할 때 꺼내서 참고하겠지?'
틀렸다!
파일을 첨부하는 순간, 그 내용은 통째로 컨텍스트 윈도우에 포함된다. 지금 이 대화창의 모니터 화면 위에 올라온다. 별도 저장소가 아니다. 파일 내용이 텍스트로 변환되어 화면을 차지하기 시작한다.
책상 위에 모니터가 있다. 파일을 첨부한다는 건, 그 모니터 화면 위에 종이 묶음을 올려놓는 것이다. 종이가 두꺼울수록 화면이 그만큼 가려진다. 내가 새로 입력할 수 있는 공간도 그만큼 줄어든다.
30페이지 PDF를 올렸다면, 화면의 상당 부분이 이미 그 종이로 덮인 상태에서 대화가 시작된 것이다.
파일이 클수록 무슨 일이 벌어지는가
화면 크기는 유한하다. 일반 사용자 기준 200K 토큰. A4 약 600페이지 분량이다. 넉넉해 보인다.
그런데 30페이지 PDF를 올리는 순간, 그 화면의 일부가 이미 소모된 상태로 시작된다. 거기에 대화를 이어가면 어떻게 될까?
내 눈에는 안 보인다. "그런데 30페이지 PDF를 올리는 순간, 그 화면의 일부가 이미 소모된 상태로 시작된다. 당신이 올린 30페이지 중 AI가 지금 실제로 보고 있는 건 몇 페이지일까?"
30페이지 PDF를 올리고 "전체 다듬어줘"라고 했을 때, 앞부분은 잘 됐고 뒷부분은 손을 안 댄 것처럼 보였던 이유가 바로 이것이다. AI가 게으른 게 아니었다. 파일 내용 중 뒷부분이 이미 스크롤 밖으로 밀려나고 있었던 것이다. [1]
이미지형 PDF나 고해상도 이미지는 더 심각하다. 같은 내용이라도 텍스트 파일보다 훨씬 많은 토큰을 소모한다. [2] 스캔본 몇 페이지가 텍스트 수십 페이지 분량의 화면을 순식간에 채워버린다.
그러면 어떻게 쓸 것인가?
방법은 단순하다. 놀랍도록 단순하다.
첫째, 파일 전체 대신 필요한 부분만 복사해서 붙여 넣어라.
"전체 다듬어줘"는 AI에게 30페이지짜리 종이 묶음을 통째로 올려놓고 한 번에 처리하라는 요청이다. 대신 이렇게 해보자. 3페이지에서 7페이지까지의 텍스트만 복사해서 붙여 넣고 "이 부분만 다듬어줘"라고 입력한다. 화면에 올라오는 양이 줄어들고, AI가 집중할 수 있는 범위가 명확해진다. 결과물의 품질이 달라진다.
둘째, 이미지형 파일은 텍스트로 변환한 뒤 올려라.
스캔 PDF나 이미지 파일은 텍스트 파일보다 훨씬 많은 토큰을 소모한다. 같은 내용이라도 말이다. 미리 텍스트로 변환해서 붙여 넣으면 토큰 소모를 대폭 줄일 수 있다.
셋째, 파일 첨부와 대화를 한 창에 오래 섞지 마라.
파일을 올리고 대화를 길게 이어가면, 파일 내용은 점점 스크롤 밖으로 밀려난다. 파일 관련 작업은 새 창을 열고, 그 창에서만 집중적으로 처리하는 습관이 낫다.
지금 당장 할 수 있는 것이 하나 있다.
"한 번만 해보면 안다. 전체 파일 대신 필요한 페이지만 붙여넣었을 때 결과물이 달라지는 걸 직접 느끼는 순간이 온다."
파일 첨부는 도구다. 마법이 아니다. 쓸 때와 안 쓸 때를 내가 판단할 수 있어야 한다.
첨부 파일이 스크롤 밖으로 밀려나는 건 시작일 뿐이다. 대화가 길어지면 AI는 파일뿐 아니라 앞에서 내가 했던 말 자체를 잊어버리기 시작한다. 그게 어떤 순간에, 어떻게 벌어지는지 — 9편에서 이어간다.
참고 링크:
[1] Anthropic. Claude's context window and memory — https://docs.anthropic.com
[2] Anthropic. Vision — Token costs for images — https://docs.anthropic.com/en/docs/build-with-claude/vision