AI가 앞말을 잊어버리는 순간
문맥 소실이 글의 일관성을 무너뜨릴 때
소설 한 편을 써달라고 했다.
주인공 이름, 배경, 말투, 결말. 꼼꼼하게 적어서 첫 메시지에 넣었다. AI가 1장을 썼고, 나는 "계속해줘"라고 했다. 3장도, 4장도. 그리고 8장쯤 됐을 때였다.
헉! 주인공 이름이 바뀌어 있었다.
처음엔 내가 잘못 봤나 싶었다. 다시 읽었다. 아니었다. 분명히 '이서준'이라고 했는데, AI는 아무렇지 않게 '이준서'라고 쓰고 있었다. 말투도 달라졌다. 배경도 흐릿해졌다. 나는 잠깐 화면을 멍하니 봤다.
이게 머선 일이고?
6편에서 이미 얘기했듯이 AI는 화면을 볼 뿐, 기억하지 않는다고.
그런데 오늘은 거기서 한 발 더 들어간다.
화면 안에 있는데도 흐릿해지는 게 있다. 그게 오늘 주제다.
위치가 선명도를 결정한다
AI가 화면에서 가장 집중해서 읽는 곳은 맨 앞과 맨 뒤다. 중간은 상대적으로 흐릿하게 처리된다.
대화가 짧을 땐 문제없다. 화면이 작으니 앞도 뒤도 중간도 다 선명하다. 그런데 8장, 10장, 15장을 넘어가면 처음 설정들이 화면 한가운데로 밀린다. 맨 앞도 아니고, 맨 뒤도 아닌 그 자리. AI가 가장 흐릿하게 읽는 바로 그 위치다.
이름이 바뀐 건 AI의 실수가 아니었다. 내 설정이 가장 나쁜 자리로 밀린 거였다.
혹시 이런 경험 없었나요? 처음엔 잘 됐는데, 대화가 길어지면서 AI가 조금씩 다른 방향으로 가는...
문맥 붕괴는 세 단계로 온다
직접 겪어보니 패턴이 있었다.
1단계: 미세한 일탈. 처음엔 거의 눈치채기 어렵다. 말투가 0.5도 틀어진다. 어조가 조금 딱딱해진다. 뭔가 이상하다는 느낌은 있지만 특정하기 어렵다.
2단계: 설정 망각. 처음 지정한 형식이 무시된다. 금지한 단어가 슬며시 등장한다. AI한테 "아까 말한 거 기억해?"라고 물으면, AI는 진심으로 혼란스러워한다. 화면 중간에 있어서 흐릿해진 것이기 때문이다.
3단계: 완전 이탈. 처음 설정과 완전히 다른 방향으로 달린다. 이 시점에선 고치는 것보다 처음부터 다시 심는 게 빠르다.
재시딩 타이밍 — 언제 다시 심어야 하는가
핵심은 하나다. 중간이 흐릿해지기 전에, 처음 조건을 다시 맨 뒤로 데려온다.
내가 실제로 쓰는 기준은 이렇다.
메시지가 10~15번 왕복됐다. 또는 챕터나 섹션이 전환되는 시점이다. 이 두 조건 중 하나가 오면, 그냥 한 줄 쓴다.
"4장 시작합니다. 주인공 이서준(28세, 차분한 말투), 배경 2031년 서울, 문장 짧고 건조하게."
끝이다. 이 한 줄이 처음 설정을 맨 뒤로 다시 소환한다. AI는 방금 전 메시지처럼 선명하게 읽는다.
이게 4편에서 말한 컨텍스트 시딩과 같은 원리다. 차이는 하나뿐이다. 처음 한 번만 심는 게 아니라, 전환점마다 다시 심는다.
지금 당장 한 가지
다음 긴 작업에서, 10번 왕복했다 싶은 순간 딱 한 줄만 써본다.
"계속합니다. [처음 설정한 문맥 그 핵심내용]."
그게 전부다. 한 번만 해보면 안다. 그 전과 그 후의 답변이 얼마나 달라지는지를.
그렇다면 이 모든 것을 알고 나서 드는 질문이 하나 있다.
새 대화창, 언제 열고 언제 유지해야 할까?
참고자료:
[1] Liu et al. (2023), "Lost in the Middle: How Language Models Use Long Contexts", arXiv:2307.03172
#챗GPT #ChatGPT #Claude #클로드 #AI글쓰기 #프롬프트 #문맥관리 #AI초보 #직장인AI