15. 오래 쓸수록 보이는 AI의 경계

by ZeroInput

새 모델이 나올 때마다 느끼는 게 있다.


처음 며칠은 정말 좋다. 뭐든 할 수 있을 것 같다. 이전 모델에서 안 되던 것이 된다. 코딩만이 아니다. 분석도, 글쓰기도, 구조 설계도 한 단계 올라간 게 체감된다. 새 모델을 처음 만나는 순간의 그 신선함. AI를 많이 써본 사람이라면 다 알 거다.


그런데 대화가 길어지면 달라진다.


처음에는 전체를 보는 것처럼 말하던 AI가, 컨텍스트가 쌓이면서 점점 낮은 곳으로 내려온다. 내가 구조를 이야기하면 기능 목록을 준다. 내가 방향을 물으면 구현 순서를 답한다. 내가 더 멀리 보고 싶은데, AI는 자꾸 지금 당장 만들 수 있는 것으로 좁혀온다.


빅테크들도 이걸 안다. 그래서 메모리 기능을 붙이고, 컨텍스트 창을 크게 늘리고, 대화를 압축하는 방법을 계속 만들어가고 있다. 기술적으로 해결하려는 거다. 그런데 내가 1년 넘게 AI와 일하면서 느낀 건, 이건 단순히 컨텍스트 길이의 문제만은 아니라는 거다.


1편에서 썼다. AI로 ERP를 8개월간 만들었다고. 그 과정에서 수많은 의사결정을 AI와 함께 했다. 시장분석, 기술 선택, 타깃 설정, 피벗 판단. 매번 AI한테 보고서를 받고, 읽고, 방향을 잡았다.


처음에는 AI가 뭐든 해주는 느낌이었다. 물어보면 자세하게 답해줬다. 구조도 잡아줬고, 근거도 붙여줬다. 속도가 빨랐고, 양이 많았고, 그럴듯했다.


그런데 깊이 들어가면 달라졌다.


내가 “이 시장에서 우리 제품이 자리 잡으려면 어떤 구조여야 하는가”를 물으면, AI는 “기능 A, 기능 B, 기능 C를 구현하세요”로 답했다. 내가 “3년 뒤에도 버틸 수 있는 아키텍처인가”를 물으면, AI는 “현재 트렌드 기준으로는 적합합니다”로 답했다. 틀린 말이 아니다. 그런데 내가 묻고 있는 건 그게 아니었다.


나는 여러 시간 축을 동시에 보고 싶었다. 지금의 선택이 6개월 뒤의 확장과 충돌하지 않는지, 시장이 바뀌었을 때 이 구조가 살아남을 수 있는지, 기술적 선택과 비즈니스 선택이 같은 방향을 가리키고 있는지. 전체를 한 번에 붙들고 싶었다.


AI는 그걸 못 했다.

부분은 잘했다. 각각의 질문에는 정교하게 답했다. 하지만 전체를 동시에 보면서 “이 방향이다”를 짚어주는 건 못 했다. 자꾸 단편으로 내려왔다.


처음에는 내가 질문을 잘못한 줄 알았다.

그래서 더 길게 설명했다. 맥락을 더 자세히 붙였다. 핵심을 중간중간 다시 정리해 줬다. 한 번 나온 답을 그대로 믿지 않고 다른 각도에서 다시 흔들어봤다.


분명히 좋아지는 부분은 있었다. 더 정교해지고, 더 길게 버티고, 내가 놓친 걸 다시 가져오는 순간도 있었다. 그래서 한동안은 “더 잘 물으면 되는 문제”라고 생각했다.


그런데 어느 높이 이상으로 올라가면 비슷한 일이 반복됐다.


그때 AI한테 직접 물어봤다. “왜 너는 이렇게 단편적으로 답하느냐. 다른 사람들이 이런 질문을 하지 않아서 그런 거냐. 자료가 없는 거냐.”


돌아온 답이 흥미로웠다. AI는 학습 데이터의 한계, 컨텍스트 윈도우 안에서의 최적화, 확률 기반 추론의 특성 같은 걸 이야기했다. 기술적으로는 맞는 말이다. 하지만 내가 체감한 건 조금 달랐다.


AI는 하나의 관점에서 깊이 파는 건 잘한다. 그런데 여러 관점을 동시에 들고 있으면서 그 사이의 긴장을 유지하는 건 잘 못한다.

부분을 정교하게 다듬는 건 잘한다. 전체를 높은 곳에서 오래 붙들고 버티는 건 잘 못한다.


그래서 난상토론을 만든 거다.

8편에서 썼다. 서로 다른 입장에서 토론하는 구조. 같은 주제를 여러 번 돌리고, 매번 다른 시각에서 부딪히게 한 뒤 그 결과를 다시 평가하는 방식이다.


왜 이런 구조를 만들었느냐. 하나의 AI와 대화해서는 내가 원하는 높이에 도달할 수 없었기 때문이다.


단일 AI에게 “전지적 시점에서 분석해 줘”라고 해봤자 소용없다. AI는 하나의 맥락 안에서 하나의 흐름으로 답한다. 그게 아무리 길고 정교해도 결국 하나의 시점이다. 서로 다른 관점이 같은 문제를 동시에 때려야, 비로소 내가 혼자서는 보지 못했던 것이 보이기 시작한다.


그리고 1년간 이렇게 일하다 보니, 각 모델마다 결이 다르다는 것도 느끼게 됐다.

내 경험상 클로드는 구조를 잡고 논리를 세우는 데 강했고, 제미나이는 넓게 훑으면서 패턴을 잡는 데 강했다. GPT는 실행과 구현으로 빠르게 내려오는 데 강했다. 비슷하면서도 미묘하게 다르다. 6편에서 “쓰는 법을 알게 됐다”라고 한 게 이거다. 어디에 뭘 써야 하는지, 어떤 조합이 효율적인지, 그 감각.


그런데 여기서 하나 더 중요한 게 있다.


나는 AI ERP가 실패하고 나서 시각을 바꿨다. “만드는” 관점에서 벗어나 더 높은 곳에서 바라보자고.

그 이후로 의식적으로 노력했다.

하나의 기능이 아니라 전체 구조를 보려고. 지금의 선택이 아니라 나중의 확장까지 보려고. 기술적 가능성이 아니라 시장의 방향까지 보려고.


최근에 AI와 대화하면서 이상한 느낌을 받았다. 내가 구상하는 것을 AI한테 설명하는데, AI가 따라오지 못하는 느낌. AI도 “기술적으로 구현 가능하다”라고 한다. 그리고 구현을 위해 대화를 이어가지만, 자꾸 단편적인 것만 만들려 한다. 전체를 동시에 붙들지 못한다.


1년 전이었으면 이 느낌을 알아차리지 못했을 거다. AI가 주는 답이 곧 정답이라고 생각했을 거다. AI가 “이렇게 하세요”라고 하면 그대로 했을 거다.


지금은 다르다. AI의 답이 내가 붙들고 있는 문제의 높이를 유지하고 있는지를 먼저 본다. 좋은 답을 빨리 받는 것보다, 이 답이 전체를 보고 있는지 단편으로 내려왔는지를 확인하는 게 더 중요해졌다. 이게 7편에서 쓴 “방향감각”의 조금 더 구체적인 모습이다. 방향감각이라는 건 거창한 게 아니다. AI가 낮은 곳으로 미끄러지고 있을 때 그걸 알아차리는 감각이다.


나는 여전히 만드는 것이 중요하다고 생각한다.

5편에서 바이브코딩의 쾌감을 썼다. 그 쾌감은 진짜다. 빠르게 실험하고, 형태를 만들고, 부딪혀보는 힘은 분명 크다. 지금 많은 사람들이 그 구간에 몰입하고 있고, 나도 그 과정을 지나왔다.


다만 오래 붙들고 있다 보면, 만드는 속도만으로는 답할 수 없는 질문이 남는다. 지금 만들고 있는 이것이 전체 안에서 어떤 의미를 가지는가. 지금의 선택이 나중에도 버틸 수 있는가. 내가 보고 있는 것이 본질인가, 아니면 당장 손에 잡히는 단편인가.


AI는 계속 더 잘 만들게 해 줄 거다. 새 모델이 나올 때마다 실행력은 올라간다. 하지만 실행력이 커진다고 해서 시야의 높이까지 함께 커지는 건 아니다.


AI를 오래 쓸수록 AI가 잘하는 것만 아는 걸로는 부족하다는 걸 배우게 된다. 어느 순간부터는, AI가 더 이상 이 높이를 따라오지 못하고 있다는 걸 알아차리는 감각이 더 중요해진다.


내가 요즘 새로 배우고 있는 것은 AI의 능력이 아니다. AI의 경계다.






ZeroInput — AI 시대의 경계에서 직접 부딪혀본 것들을 기록합니다.

이전 04화14. 100만 토큰 다음에 오는 구조