챗GPT는 당신이 누구인지 알고 있다
(!) ChatGPT Plus 버전을 기준으로 합니다.
ChatGPT를 사용하다 보면 분명 새 채팅을 시작했음에도 이미 나에 대해 알고 있다는 듯이 이야기하거나 새로운 주제를 이야기하는데도 자꾸 과거의 대화와 엮으려고 하는 경우가 있습니다. 예를 들어 제가 취미로 소설을 쓴다고 가정하고, 현실에서 새로운 사업을 구상하려는데, 자꾸 소설과 엮어서 마치 사업가가 주인공인 소설을 쓰는 것처럼 답변을 주는 경우입니다.
ChatGPT는 사용자가 첫 사용을 하면서 대화를 통해 사용자가 어떤 사람인지 파악하고, 새로운 대화를 시작하더라도 기록을 바탕으로 대화를 이어나갑니다. Gemini, Claude같은 다른 AI 서비스도 마찬가지입니다. 이를 장기기억 메모리(Long-term Memory)라고 하는데요. 메모리 기능은 사용자의 취향과 성향을 기억하여 기존에 대화하고 있던 채팅 세션뿐만 아니라 새로운 대화를 시작하더라도 이를 반영하도록 합니다. 이는 마치 학교와 사회에서 처음 만난 사람과 대화를 하면서 이 사람이 어떤 사람인지를 기억하고 다음에 만날 때도 이를 반영하여 대화를 이어나가는 것과 마찬가지라고 볼 수 있죠.
단기기억 메모리
메모리는 장기기억 메모리(Long-term Memory)와 단기기억 메모리(Short-tem Memory)로 구분되는데, 단기기억 메모리는 ChatGPT가 동일한 채팅 세션에서 과거의 대화 기록을 보고 파악한 맥락입니다. 장기기억 메모리와는 다르게 다른 채팅 세션에는 반영되지 않습니다. 우리가 일반적으로 ChatGPT를 사용할 때 무의식적으로 사용하는 메모리라고 볼 수 있습니다.
채팅 세션은 하나의 단위라고 볼 수 있는데, 우리가 친구와 대화를 할 때 이는 하나의 채팅 세션으로 간주할 수 있으며, 그와 동시에 스마트폰으로 다른 친구와 대화 중이라면 이는 다른 채팅 세션입니다. 각 채팅 세션마다 해당 대화에서 이야기하고 있는 주제와 맥락이 있어 이에 관해 단기적으로 기억하고 대화하는 것으로, 일상적으로 다른 사람과 대화하는 것과 비슷하다고 볼 수 있습니다.
단기기억 메모리는 멀티턴(Multi-turn) 대화에서 사용하기 위해 사용되는 기능입니다. 여기서 턴(turn)은 생성형 AI에서 질의응답 한 세트를 의미하며 멀티턴은 이러한 질의응답이 계속 이어지는 것을 말합니다. 간단하게 이야기하면 그냥 긴 대화를 말하는 겁니다. 단기기억 메모리가 없으면 질문과 응답을 여러 번 주고받는 멀티턴 대화를 하더라도 바로 이전 대화를 기억하지 못해서 딴소리를 하게 됩니다.
장기기억 메모리
장기기억 메모리는 대화 도중에 사용자의 성향과 취향을 기억하는 것입니다. ChatGPT 개인 맞춤 설정과의 차이는, ChatGPT 개인 맞춤 설정은 사용자가 대화 이전에 설정하는 것이라고 볼 수 있지만, 장기기억 메모리는 대화 도중에 실시간으로 반영된다는 것입니다. ChatGPT에서 장기기억 메모리는 프로필 → 개인 맞춤 설정 → 메모리에서 관리할 수 있습니다.
프로필 → 개인 맞춤 설정 → 메모리장기기억 메모리를 사용하면 대화를 하면서 장기적으로 사용자가 어떤 사람인지를 기억하고, 채팅 세션이 끝나더라도 다음 대화에도 이어서 적용됩니다. 다만 이는 시스템 차원의 기능으로, 모델 자체에는 메모리 기능이 없기 때문에 모델에 메모리가 있는 것으로 착각해서는 안됩니다. 현재 ChatGPT에는 메모리와 관련하여 ChatGPT가 대화 도중에 성향이나 취미같이 기억할만한 내용을 판단하여 장기 기억 메모리에 보관하는 "저장된 메모리 참고"와 다른 채팅 세션을 포함한 과거의 대화 기록을 참고하여 사용자의 응답에 활용하는 "채팅 기록 참고'가 있습니다.
장기기억 메모리에 프롬프트를 통해 명시적으로 기억을 해달라고 요청하는 것도 가능합니다. 예를 들어 다음과 같이 "~기억해 줘"라는 형식의 프롬프트를 주면 메모리에 보관됩니다.
이와 같이 작성된 프롬프트는 장기기억 메모리로 취급되어 프로필 → 개인 맞춤 설정 → 메모리 → 관리에서 살펴볼 수 있으며 이렇게 저장된 장기기억 메모리는 다음 대화에도 반영이 될 것입니다.
프로필 → 개인 맞춤 설정 → 메모리 → 관리프로필 → 개인 맞춤 설정 → 메모리 → 관리에서 저장된 메모리 목록을 살펴볼 수 있는데, 메모리를 별도로 관리하지 않았다면 쌓여있을 가능성이 높습니다. ChatGPT를 사용하면서도 메모리의 존재를 모르고 사용하시는 분들도 많기 때문에 쌓여있는 메모리를 보고 당황할 가능성도 높을 것입니다. 메모리가 관리되지 않으면 대화가 편향되어 과도한 개인화가 발생하는 등의 문제가 발생하여 메모리를 사용하고자 할 때는 주기적인 관리가 필수적으로 요구됩니다.
활용 Tip.
메모리는 ChatGPT를 통해 일관된 주제를 이야기할 때 유용합니다. 예를 들어 제가 소설가라고 가정해 보면, 대화 주제로는 아이디어 논의, 스토리 라인 정리, 캐릭터 세계관 정립, 문장 개선 등의 대화를 할 수 있겠지요.
장기기억 메모리를 사용하면 서로 다른 채팅 세션에서도 반영이 되기 때문에 ChatGPT에게 재차 지금까지의 상황을 설명하지 않아도 활용할 수 있습니다. 그러나 전혀 관련 없는 주제를 논의하면 메모리와 현재 대화 주제가 결합되어 혼란스러운 일이 발생할 수 있습니다. 따라서 메모리를 주기적으로 관리하는 것은 중요합니다.
저는 기본적으로 글로벌 장기기억 메모리를 비활성화하고 사용합니다. ChatGPT가 대화를 통해 편향성을 가지는 것을 원하지 않기 때문입니다. 다만, 우리가 실무에서 특정 프로젝트를 진행할 때 해당 프로젝트에 연관된 메모리만 가지게 하면 좋지 않을까? 싶은 경우도 있을 것입니다. 이를 위해 ChatGPT 프로젝트라는 기능이 준비되어 있습니다. ChatGPT 프로젝트를 사용하면 글로벌 장기기억 메모리와 독립되어 메모리가 운용되어 대화가 뒤섞여서 응답 품질이 떨어지는 현상이 나타나지 않습니다.
정리하자면, 단기기억 메모리는 동일한 채팅 세션에서 현재 대화하고 있는 주제에 대해 맥락을 기억하여 멀티턴 대화로 이어갈 수 있도록 사용되는 메모리이고, 장기기억 메모리는 장기적으로 사용자의 성향을 기억하여 다른 채팅 세션에서도 반영하는 것입니다.
단기기억 메모리는 채팅을 닫아버리면 소멸되지만 장기기억 메모리는 관리되지 않으면 사용자가 직접 관리하기 전에는 계속 누적됩니다. 따라서 자체적으로 관리하지 않으면 응답품질이 떨어질 수 있으니 주의가 필요합니다. 이러한 장기기억 메모리를 독립적으로 운용할 수 있는 ChatGPT 프로젝트라는 것도 존재하는데, ChatGPT 프로젝트는 독립적인 메모리 운용 이외에도 다양한 기능을 사용할 수 있으므로 추후에 논의하도록 하겠습니다.
'비전공자를 위한 챗GPT 101'은 단순하게 챗GPT 사용법을 이야기하는 것이 아니라, 생성형 AI를 활용하기 위해 알아야 하는 기초를 대표적인 생성형 AI 서비스인 챗GPT를 사용하여 풀어냅니다. 물고기를 잡아주기보다는 물고기를 잡는 법을 알려줍니다.
챗GPT를 사용하는 활용법은 간단한 글쓰기부터 시작해서 기획, 마케팅 등 너무나도 많고, 직무마다 다른데, 이 글들은 '이메일 쓰기', '통계 분석하기 같은' 단순한 '사례'만을 이야기 하지 않습니다. 생성형 AI의 '기본'을 이야기함으로써 챗GPT를 자유롭게 구사하며 실무에서 활용할 수 있도록 뼈대를 쌓습니다.
