왜 이런 일이 생길까
AI를 오래 쓰다 보면
이상한 경험을 한 번쯤 하게 된다.
처음에는 꽤 놀랍다.
질문을 하면
생각보다 정확하게 답한다.
맥락도 이해하는 것 같고
의도도 잘 따라오는 것 같다.
그래서 이렇게 생각하게 된다.
“이 정도면 꽤 똑똑한데?”
그런데 대화를 조금 더 이어가면
묘한 변화가 나타난다.
어느 순간
이런 느낌이 든다.
“이거… 아까 이야기했던 방향이 아닌데?”
분명 같은 대화를 하고 있는데
초기에 잡았던 방향이
조금씩 흐려진다.
이 현상을
AI 연구에서는 이렇게 부른다.
context drift
맥락이
조금씩 흘러가는 현상이다.
사람과 AI의 결정적인 차이
사람은 대화를 할 때
보이지 않는 중심을 하나 잡는다.
예를 들어 이런 것들이다.
이 대화의 목적이 무엇인지
무엇을 기준으로 판단해야 하는지
어떤 것을 중요하게 봐야 하는지
이런 기준이
머릿속 어딘가에 계속 남아 있다.
그래서 대화가 길어져도
방향이 크게 흔들리지 않는다.
하지만 AI는 다르다.
AI는 대화를 기억하지 않는다.
대신
문장을 계산한다.
이전 문장들과
지금 문장을 함께 보고
가장 자연스러운 다음 문장을
확률적으로 선택한다.
이 방식은 꽤 강력하다.
하지만
문제가 하나 있다.
대화가 길어질수록
처음 잡았던 중심이
점점 희미해질 수 있다는 것이다.
맥락이 흐르는 순간
예를 들어 보자.
처음 질문이 이렇다.
“스타트업 마케팅 전략을 설명해줘.”
AI는 꽤 괜찮은 답을 한다.
그래서 질문을 이어간다.
“그러면 콘텐츠 전략은?”
여전히 괜찮다.
“브랜드 스토리는?”
여기까지도 좋다.
문제는
그 다음부터다.
대화가 길어질수록
처음 이야기했던 조건들이
조금씩 사라지기 시작한다.
예를 들어
스타트업 상황
예산 제약
초기 성장 단계
이런 것들이다.
이 맥락이 흐려지면
AI의 답도 변한다.
결국 어느 순간
대기업에도 적용할 수 있는
일반적인 마케팅 이야기로
흘러가 버린다.
AI가 틀린 것이 아니다.
단지
맥락이 흘러간 것이다.
AI 에이전트에서 더 크게 나타나는 이유
이 문제는
AI 에이전트에서 더 심각하게 나타난다.
에이전트는 보통
여러 단계를 거쳐 일을 처리한다.
예를 들어
리서치를 하고
정보를 정리하고
분석을 하고
보고서를 만든다.
겉으로 보면
꽤 체계적인 과정이다.
하지만 한 가지 조건이 있다.
처음 목표가
계속 유지되어야 한다는 것이다.
만약 이 중심이 약하면
단계가 하나씩 진행될 때마다
맥락이 조금씩 변한다.
처음에는 작은 차이다.
하지만 마지막 결과에서는
꽤 큰 차이가 된다.
그래서 많은 사람들이
AI 에이전트를 만들었다가
이런 말을 한다.
“처음에는 놀라웠는데
결과가 점점 이상해진다.”
대부분의 경우
이 문제의 원인은 하나다.
context drift
맥락이
조금씩 흘러간 것이다.
그래서 맥락 설계가 중요해진다
AI가 안정적으로 작동하려면
하나의 조건이 필요하다.
맥락이
대화 중간에 사라지지 않아야 한다.
예를 들어 이런 것들이다.
처음 목표
판단 기준
작업 제약
데이터의 배경
이것들이 계속 유지되면
AI의 답은 훨씬 안정적이 된다.
그래서 최근 AI 시스템에서는
여러 가지 방법이 등장하고 있다.
대화를 기억하게 만들거나
외부 데이터를 연결하거나
작업 상태를 계속 추적하는 방식들이다.
겉으로 보면 기술이 다르지만
목적은 하나다.
맥락이 흘러가지 않도록 붙잡는 것
결국 문제는 여기 있다
AI가 틀린 답을 하는 경우는
생각보다 많지 않다.
대부분의 문제는
다른 곳에서 생긴다.
AI가 틀린 것이 아니라
맥락이 흐른 것이다.
그래서 AI 시스템을 설계할 때
가장 중요한 질문은 이것이 된다.
AI가 얼마나 똑똑한가가 아니라
AI가 어떤 맥락 속에서
판단하고 있는가
이 질문이
AI 결과의 품질을 결정하게 된다.