100만 토큰이 처음 나왔을 때, 기대가 됐다.
이제는 진짜 많이 달라지겠구나 싶었다.
예전 같으면 금방 흔들렸을 대화가 훨씬 오래 버티고, 코드도 더 많이 넣을 수 있고, 앞에서 정리한 내용도 더 오래 살아남는 느낌이 있었기 때문이다.
실제로 좋아진 것도 맞았다.
코딩 품질도 좋아졌고, 긴 문서를 다루는 것도 편해졌고, 하나의 프로젝트를 한 세션 안에서 훨씬 더 오래 끌고 갈 수 있게 됐다.
예전 10만, 20만 토큰 시절에는 조금만 길어져도 금방 한계가 왔다.
그래서 오히려 빨리 끊고, 다시 열고, 다시 설명해야 했다.
100만 토큰이 오고 나서는 그게 훨씬 늦게 왔다.
이건 분명 큰 변화였다.
그런데 오래 붙들고 있다 보니, 다른 것도 보였다.
문제가 사라진 건 아니었다.
예전에는 빨리 무너졌다.
지금은 늦게 무너진다.
예전에는 금방 흔들렸고, 지금은 꽤 오래 버틴다.
차이는 크다.
하지만 끝까지 완전히 해결되지는 않는다.
오히려 더 미묘해졌다.
예전에는 “아, 이제 이 세션은 끝났구나”가 빨리 보였다.
지금은 계속 갈 수 있을 것처럼 느껴진다.
그래서 사람은 더 오래 같은 세션을 붙든다.
문제는 바로 거기서 시작된다.
세션이 길어질수록 문맥은 계속 쌓인다.
질문 하나는 짧은데, 실제로는 그 뒤에 붙어 있는 맥락이 점점 더 커진다.
대화는 계속 이어지는데, 세션은 점점 무거워진다.
그리고 어느 순간부터 이상한 느낌이 온다.
질문은 같은 문제를 향하고 있는데, 답은 조금씩 다른 데로 미끄러진다.
이미 정리한 걸 다시 흔들기도 하고, 버린 방향을 은근히 다시 꺼내오기도 하고, 지금 중요한 것보다 가까운 구현으로 내려오기도 한다.
그런데 예전과 다른 건, 그걸 알아차리기 전에 먼저 다른 게 체감된다는 점이다.
토큰이 빨리 닳는다.
“어? 방금 이 정도 물었는데 왜 이렇게 많이 먹지?”
이 느낌이 먼저 온다.
예전에는 품질 저하가 먼저 눈에 보였다.
지금은 그전에 리밋이 가까워지는 게 느껴진다.
더 오래 버티는 대신, 더 많이 누적되고, 더 무겁고, 더 비싸게 한계가 온다.
나는 그게 100만 토큰 시대의 진짜 변화라고 본다.
문제가 사라진 게 아니라, 문제의 모양이 바뀐 것이다.
일반적인 사용에서는 이게 크게 안 보일 수도 있다.
한 창에 이것저것 물어보고, 초안받고, 검색하듯 쓰는 수준에서는 조금 흔들려도 별문제가 아닐 수 있다.
그 정도에서는 답이 완벽하지 않아도 대충 도움이 되면 충분하다.
그런데 하나의 문제를 길게 붙들고 가는 작업은 다르다.
코딩이 그렇고, 구조 설계가 그렇고, 이전 결정과 다음 결정이 계속 이어져야 하는 일들이 그렇다.
그런 작업은 한 번 묻고 끝나는 일이 아니다.
결정이 남아 있어야 하고, 수정한 방향이 유지돼야 하고, 이미 버린 선택지가 다시 튀어나오지 않아야 한다.
그런 작업에서는 대화의 길이보다 상태의 일관성이 더 중요해진다.
나도 그걸 여러 번 겪었다.
예전 20만 토큰 시절에는 세션 관리를 어쩔 수 없이 했다.
안 그러면 금방 한계가 왔으니까.
그런데 100만 토큰이 오면서 오히려 세션 관리를 덜 하게 됐다.
너무 좋아졌기 때문이다.
전보다 훨씬 덜 흔들리고, 훨씬 더 오래 버티고, 실제로 답도 더 좋아졌으니까.
그런데 바로 그게 함정이었다.
좋아졌기 때문에 더 오래 끌고 가게 되고,
더 오래 끌고 가기 때문에 더 많이 쌓이고,
더 많이 쌓이기 때문에 결국 다시 같은 질문 앞에 서게 된다.
이걸 계속 한 세션에 다 넣고 가는 게 맞는가.
아니면 다른 방식이 필요한가.
내가 보기에 100만 토큰은 끝이 아니었다.
오히려 신호에 가까웠다.
AI가 더 많이 기억하게 되었다는 신호.
그리고 그다음부터는, 그 많은 기억을 어떻게 다뤄야 하는지가 더 중요해진다는 신호.
예전에는 AI가 금방 잊어버리는 게 문제였다.
그래서 더 긴 문맥이 필요했다.
그런데 문맥이 길어지고 나니,
이번에는 기억 자체보다 그 기억을 어디에 남기고, 어떻게 다시 불러오고, 어떤 식으로 이어갈지가 더 중요해졌다.
즉 긴 문맥 다음에 오는 것은 더 긴 문맥이 아니라 구조다.
상태는 밖에 남아야 하고,
작업은 나뉘어야 하고,
결과는 다시 이어질 수 있어야 한다.
그걸 더 분명하게 느끼게 된 건 오픈클로를 쓰기 시작하면서였다.
처음엔 단순히 더 강한 도구라고 생각할 수도 있다.
조금 더 많이 하고, 조금 더 잘하고, 조금 더 편한 툴처럼 보일 수도 있다.
그런데 오래 붙들고 있으면 다른 게 보인다.
중요한 건 답변 한 번의 성능이 아니다. 대화창 안에 쌓인 기억이 아니라, 바깥에 남는 메모리다.
한 세션을 끝없이 길게 끄는 능력이 아니라, 작업을 나누고 다시 이어 붙일 수 있는 구조다.
나는 오픈클로를 쓰면서, 예전처럼 “여기서 새 세션을 열어야 하나”를 계속 고민하는 쪽에서 조금씩 멀어졌다.
대신 이렇게 보기 시작했다.
무엇을 메모리로 남길 것인가.
어떤 작업은 서브에이전트로 따로 돌릴 것인가.
무엇을 계속 들고 가고, 무엇은 결과만 다시 가져올 것인가.
예전에는 세션의 문제를 세션 안에서 버티려 했다.
대화를 더 길게 끌고 가고, 더 많은 문맥을 한 창 안에 넣고, 거기서 끝까지 해결하려 했다.
그런데 오픈클로는 다른 식으로 보여줬다.
세션의 문제를 세션 안에서 억지로 버티는 것이 아니라,
메모리를 밖에 남기고, 작업을 나누고, 필요한 것만 다시 가져오게 하는 것.
즉 문제를 대화의 문제로 두지 않고 구조의 문제로 바꾸는 것.
나는 그게 진짜 다음 단계처럼 느껴졌다.
100만 토큰은 기억의 확대였다.
그런데 오픈클로는 그다음에 오는 구조를 먼저 보여준 것 같았다.
AI가 더 많이 기억하는 것만으로는 부족하고,
그 기억조차 결국 바깥에 남는 구조 위에서 굴러가야 한다는 것.
앞으로 200만, 500만, 그 이상으로 계속 커질 거라고 본다.
그런데 중요한 건 이제 숫자 자체가 아니다.
더 많이 넣는 것 다음에 무엇이 오느냐가 중요하다.
내가 보기엔 그다음은 더 긴 채팅이 아니다.
더 오래 붙드는 세션도 아니다.
밖에 남는 메모리, 분리된 작업, 다시 이어질 수 있는 상태.
결국 다음 단계의 핵심은 구조에 가깝다.
그리고 내가 보기엔 오픈클로가 바로 그 구조를 먼저 보여주고 있다.
오픈클로가 중요한 이유는 단순히 더 강한 도구라서가 아니다.
긴 문맥을 그냥 버티는 것이 아니라, 메모리를 밖에 남기고, 작업을 나누고, 에이전트가 각자의 역할을 맡아 다시 결과를 이어 붙이게 만드는 쪽에 더 가깝기 때문이다.
어쩌면 우리가 AGI라고 부를 변화도, 하나의 거대한 지능이 갑자기 떨어지는 방식보다
이렇게 기억이 밖에 남고, 작업이 나뉘고, 여러 역할이 하나의 구조 안에서 이어지는 방식으로
생각보다 더 빨리 현실에 들어올지도 모르겠다는 생각이 든다.
ZeroInput — AI 시대의 경계에서 직접 부딪혀본 것들을 기록합니다.