Vasilije Markovic "Why Your AI Agents Keep Forgetting (And How To Fix That) - Cognee"
위 콘텐츠에서 목화씨를 가져온 콘텐츠
뛰어난 언어 모델을 갖춘 AI 에이전트들이 왜 실제 비즈니스 환경에서는 제대로 작동하지 못하고 엉뚱한 대답을 내놓거나 문맥을 놓칠까? 바실리예 마르코비치(Vasilije Markovic)는 그 핵심적인 이유가 에이전트의 '상태 비저장성(Statelessness)', 즉 '기억(Memory)의 부재'에 있다고 진단한다.
과거의 정적, 동적 RAG(검색 증강 생성) 방식은 단순한 데이터 주입에 불과해 문맥과 구조를 제대로 이해하지 못한다. 수천 개의 AI 에이전트가 소통하는 시대에서 에이전트가 진정한 문제 해결사로 거듭나기 위해서는, 단순 검색을 넘어 데이터를 구조화하고 과거의 맥락을 유지하는 신경과학 기반의 '메모리 레이어(Memory Layer)'가 필수적이라고 그는 단언한다.
에이전트가 똑똑하지 않아서가 아니다. 기존의 '정적 RAG'는 데이터가 업데이트되지 않아 실패했고, '동적 RAG'는 조직 내의 '애플(Apple) 컴퓨터'인지 먹는 '사과(Apple)'인지 구분하지 못하는 문맥 부족의 한계를 보였다. 또한 현재의 에이전트 시스템은 매 세션마다 모든 것을 잊어버려 몇 주 뒤에 다시 켜면 과거 상황을 전혀 알지 못한다. 단순히 지식을 '갖다 붙이는' 차원에 머물러 구조적 이해 없이 단편적 정보만 제공하는 것이 기존 데이터 처리 방식의 치명적인 문제점이다.
바실리예는 단순한 데이터베이스나 RAG를 넘어, 에이전트가 정보를 처리하고 스스로 피드백을 반영하여 진화할 수 있는 Cognee의 메모리 프레임워크를 제시한다.
지식 그래프와 임베딩의 결합 (Knowledge Graphs & Embeddings): 데이터를 단순한 텍스트나 벡터로만 저장하는 것이 아니라, 임베딩 위에 지식 그래프(Neo4j 등 활용)를 구축하여 데이터 간의 복잡한 연결성과 구조를 에이전트가 입체적으로 이해할 수 있게 돕는다.
메모리 도메인 분리 (Memory Domains): 모든 에이전트가 전체 데이터를 조회하는 대신, 구독, 결제, 고객 지원 등 특정 도메인별로 메모리 레이어를 독립시킨다. 이를 통해 에이전트는 필요한 영역(Note set)에만 접근하여 보안을 지키고 효율성을 극대화한다.
피드백 루프와 자율 업데이트 (Feedback & Auto-updates): 에이전트가 흩어진 데이터를 연결해 추론한 후, 사용자의 피드백을 시스템에 추가하여 내부 데이터 구조를 스스로 업데이트한다. 이는 다음 번 검색 시 더 빠르고 정확한 해결책을 도출하게 만든다.
다중 에이전트 협업 (Multi-Agent Collaboration): 결제, 고객 지원 등 특정 영역을 담당하는 개별 에이전트들의 조사 결과를 '감독관 에이전트(Supervisor Agent)'가 종합하여, 전체적인 맥락을 꿰뚫어 보고 최종 해결책을 제시하는 다차원적 접근법이다.
세션별 상태 유지 (Statefulness via Sessions): 에이전트는 자신만의 독립된 세션을 통해 추론 정보를 저장하고 영구적인 메모리를 구축하므로, 매번 처음부터 텅 빈 상태로 시작할 필요 없이 이전의 지식을 기반으로 작업을 이어갈 수 있다.
이 모든 메모리 시스템의 도입을 주저하게 만드는 현실적 장애물은 지식 그래프를 생성하고 유지하는 과정 자체가 극도로 어렵고 '수동적'이라는 점이다. 많은 조직이 복잡한 데이터 구조를 수동으로 매번 관리하려다 한계에 부딪힌다. 진정한 시스템의 확장을 위해서는 단순한 파이썬(Python)과 Pydantic 구조만으로 지식 그래프를 자동으로 생성, 유지, 업데이트할 수 있는 프레임워크를 활용하여 수동 작업의 늪에서 빠져나와야 한다.
에이전트의 메모리는 곧 기업의 흩어진 데이터를 결합하고, 맥락을 이해하며, 피드백을 통해 스스로 발전하는 지적 운영 체제다. 다가오는 고도화된 AI 시대에서 아직도 단순히 문서를 검색해서 텍스트만 읽어주는 낡은 '단편적 RAG' 소프트웨어로 서비스를 운영하고 있는가? 흩어진 데이터의 사일로에 갇혀있는 대신, 에이전트가 스스로 피드백을 반영하고 다차원적인 지식 그래프를 넘나들도록 메모리 아키텍처를 확장하라. 텍스트의 조각에서 벗어나, 복잡한 비즈니스 규칙과 흩어진 정보들을 유기적으로 연결해 기억하는 것만이 무한히 복잡해지는 AI 생태계에서 당신의 에이전트를 구원할 유일한 생존 전략이다.
https://product.kyobobook.co.kr/detail/S000219212630