우리는 AI가 기억한다고 착각한다
프롬프트, 컨텍스트, 메모리 — 우리가 가장 많이 착각하는 LLM의 구조
AI를 쓰다 보면 이런 순간이 온다.
아까 설명했는데 왜 또 말해야 하지?
분명 전에 이야기한 건데 왜 이해를 못 하지?
사용자는 AI와 대화하면 이미 설명한 내용이 공유되고 있다고 느끼지만,
LLM은 대화 전체 맥락을 스스로 기억하지 못한다.
사실 이 불편함은 성능 문제라기보다, 우리가 AI의 구조를 오해한 결과에 가깝다.
우리가 말한 것을 기억하는 것처럼 설계되어 보일 뿐,
AI는 기억하지 않는다.
'프롬프트' 하나로 불리는 순간, 오해가 시작된다
실무에서 자주 보는 장면이 있다.
시스템 프롬프트, 유저 프롬프트, 컨텍스트, 메모리를
전부 묶어 그냥 “프롬프트”라고 부르는 순간
오해가 시작된다.
왜 AI가 이런 답을 했는지,
왜 기억했다가 잊는지 이해할 수 없어진다.
LLM 기반 제품을 이해하려면 이 네 가지를 명확히 분리해야 한다.
시스템 프롬프트 — 변하지 않는 전제
시스템 프롬프트는 AI의 가장 바닥에 깔린 전제다.
응답의 말투, 역할, 금지된 행동, 우선순위가 여기서 정해진다.
중요한 점은 세 가지다.
유저는 보지 못한다
매 요청마다 항상 먼저 적용된다
쉽게 바뀌지 않는다
그래서 시스템 프롬프트는 ‘기억’이 아닌 정책이자 규칙에 가깝다.
UX 관점에서 보면, 이는 기능이 아니라 운영 원칙이다.
유저 프롬프트 — 매번 새로 쓰는 상황 설명
반면 유저 프롬프트는 매번 새롭게 입력된다.
이전 요청을 기억해서 이어가는 것이 아니라, 그 순간 주어진 입력만 처리한다.
유저는 대화를 이어간다고 느끼겠지만
LLM은 상태를 유지하지 않으며, 매 요청마다 전달된 입력값(컨텍스트 포함)을 기반으로 응답할 뿐이다.
그래서 유저에겐 “아까 말했는데 왜 못 알아듣지?”라는 불만이 생긴다.
기억의 문제라기보다, 입력된 정보의 한계에 가깝다.
컨텍스트와 메모리 — 기억처럼 보이게 만드는 장치
그럼 AI는 왜 기억하는 것처럼 보일까?
대부분 컨텍스트와 메모리 때문이다.
컨텍스트는 이전 대화를 ‘기억’하는 것이 아니라, 과거 대화를 다시 붙여 보내는 방식이다.
메모리는 그중 일부를 선택적으로 저장해 다시 활용하는 제품 레벨의 결정이다.
먼저 이 컨텍스트가 길어질수록 문제가 발생한다.
비용이 증가하고
성능이 불안정해지며
중요한 정보가 묻힌다
이 한계를 사용자에게 설명하지 않으면
사용자의 신뢰를 떨어뜨릴 수 있다.
메모리 역시 마찬가지다.
무엇을 저장할지, 언제 불러올지, 언제 잊게 할지는
LLM의 능력이 아니라 서비스 DB와 제품 설계의 선택에 있다.
그래서 서비스에서 흔히 말하는 “기억해 둘게요”라는 건
기술적 사실에 대한 기능 설명이 아니라, UX 표현인 것이다.
기억을 설계한다는 것
AI UX에서 중요한 질문은 '사용자는 왜 기억한다고 느끼는가'이다.
무엇을 기억하게 할지, 언제 잊게 할지, 왜 그렇게 동작하는지.
이 세 가지가 정리되지 않으면,
똑똑해 보이는 AI를 오히려 불신하게 만들 수 있다.
좋은 AI UX는 더 많이 기억하는 경험이 아니다.
사용자가 그 동작을 예측할 수 있고,
결과를 이해할 수 있으며,
필요할 때 개입할 수 있는 경험이다.
AI 자체는 기억하지 않는다.
UX가 기억처럼 보이게 맥락을 정리해 줄 뿐이다.