AI 에이전트의 새로운 기억법 ACC
맥락을 유지하며 똑똑하게 잊는 법
최근 게재된 AI Agents Need Memory Control Over More Context 논문은 한마디로 AI 에이전트가 긴 대화나 복잡한 업무를 수행할 때 발생하는 지능적 치매와 집중력 저하 문제를 어떻게 해결할 것인가를 다루고 있습니다.
AI도 "아, 내가 아까 뭐라 그랬지?"라고 한다
요즘 AI 에이전트들은 고객 상담, 코딩, 의료 상담 등 아주 긴 시간 동안 대화를 나누거나 작업을 수행합니다. 그런데 대화가 길어지면 두 가지 치명적인 문제가 생깁니다.
• 기억의 늪: 대화 내용이 너무 많아지면, 정작 중요한 초기 규칙이나 제약 조건을 잊어버리고 엉뚱한 소리를 하기 시작합니다.
• 정보 과부하: 지금까지의 모든 대화 내용을 다 기억하려고 하니 머리(컨텍스트)가 터질 것 같고, 불필요한 정보까지 섞여서 환각 현상이 심해집니다.
지금까지는 그냥 '대화 기록 전체를 다시 읽어주기(Transcript Replay)‘나 '필요할 때만 찾아보기(RAG)' 방식을 썼는데, 이게 생각보다 똑똑하지 못했다는 거죠.
뇌에서 영감을 얻은 기억 압축기 ACC
이 논문은 이 문제를 해결하기 위해 ACC(Agent Cognitive Compressor)라는 새로운 개념을 도입했습니다. 쉽게 말해 AI에게 현명하게 기억하고 잊어버리는 법을 가르친 거예요.
모두 기억하지 말고 '상태'만 기억
기존 AI들은 대화가 길어지면 이전 기록 전체를 계속 덧붙여서 읽는 Transcript Replay라는 방식을 썼습니다. 반면, ACC 알고리즘은 매 턴마다 내부 상태를 고정된 크기 내에서 업데이트합니다.
지금까지의 대화 내용을 다 저장하는 대신, 현재 가장 중요한 정보가 무엇인지 요약된 내부 상태를 만듭니다. 즉, 새로운 정보가 들어오면, 기존 상태와 대조하여 이 정보가 현재 목표 달성에 꼭 필요한가를 판단하고, 중요도가 낮은 정보는 삭제하거나 압축하여 '상태'의 크기를 일정하게 유지합니다.
알고리즘이 관리하는 '상태'는 단순히 텍스트 뭉치가 아니라, 다음과 같이 구조화된 정보를 추적합니다.
• 현재 목표 및 하위 작업
• 운영 제약 조건
• 검증된 사실
• 엔티티 및 환경 상태
정보의 필터링
들어오는 모든 정보가 기억이 되는 게 아니라, 이게 진짜 중요한 정보인가를 검증한 뒤에만 기억 저장소에 넣습니다. 덕분에 확인되지 않은 정보가 AI의 머릿속을 어지럽히는 걸 막아줍니다.
어떻게 구현했나면요… 알고리즘 내에서 두 단계를 엄격히 구분했습니다.
•확약: 내가 지금 무엇을 해야 하는가(목표), 어떤 규칙을 지켜야 하는가(제약 조건)와 같은 핵심 정보만 확약된 메모리(즉, 내부상태)에 넣습니다. 검증되지 않은 정보는 함부로 이 상태에 반영하지 않아 '기억 오염‘을 막습니다.
•리콜: 세부적인 데이터나 과거의 특정 사실(아티팩트)은 필요할 때만 외부 저장소에서 찾아오는 방식(RAG와 유사)으로 처리합니다. 즉, 머릿속(상태)은 가볍게 유지하고, 도서관(회상)은 따로 두는 것입니다.
인지적 표류를 방지하는 효과 입증
기존 방식은 정보가 많아지면 AI의 주의력이 분산되어 처음의 지시사항을 잊어버리는 '인지적 표류'가 발생했습니다. ACC 알고리즘은 매 순간 상태를 정제하여 저장하기 때문에, 수백 번의 대화가 오가도 AI가 길을 잃지 않도록 잡아줍니다.
연구팀은 IT 운영, 사이버 보안, 의료 워크플로우 같은 복잡한 환경에서 이 ACC 기술을 테스트했습니다.
환각 감소: 엉뚱한 소리를 하는 빈도가 기존 방식보다 현저히 낮아졌습니다.
안정성 유지: 대화가 100번, 200번 넘어가도 AI가 처음 설정된 목표를 잃지 않고 끝까지 완수했습니다.
경제적 효율: 기억을 압축해서 관리하니까 컴퓨터 자원도 훨씬 덜 씁니다.
마무리: AI에게도 '망각의 지혜'가 필요하다
우리가 공부할 때 모든 책 내용을 통째로 외우는 게 아니라 핵심 개념을 이해하고 나머지는 버리는 것처럼, AI 에이전트도 효율적인 인지적 압축능력이 있어야 진정한 비서 역할을 할 수 있다는 것이 이 논문의 핵심입니다. AI의 안정성과 효율성을 동시에 잡았다고 볼 수 있겠죠. 앞으로 우리가 만날 AI 비서들이 "제가 뭐라 했었죠?"라고 묻지 않고, 며칠 동안 이어지는 프로젝트도 척척 기억하며 도와줄 수 있는 기술적 토대가 마련된 셈입니다.