AI는 확신에 차 있었지만, 틀렸던 순간들 (두 번째)
눈앞의 불만 끄는 AI와, 집이 타지 않도록 지키는 사람
AI가 저한테 이런 말을 했습니다.
"지금 당장 서버에 직접 접속해서 고치세요."
저는 처음부터 그 방법이 내키지 않았습니다. '이렇게 고치면 나중에 코드를 업데이트할 때 다시 원래대로 돌아오지 않나?' 하는 걱정이 들었거든요. 그래서 소스코드 자체를 수정해서 제대로 배포하겠다고 했습니다. 그런데 AI는 서너 번을 돌아도 계속해서 '서버에 직접 접속해서 고치라'는 대안을 해결책으로 반복했습니다.
지난 편에서는 AI가 논리도 없이 자신 있게 틀리는 순간들을 이야기했습니다. 이번 편에서는 조금 다른, 그러나 어쩌면 더 위험한 두 번째 패턴을 꺼내봅니다.
AI는 눈앞에 보이는 불을 끄는 데 탁월합니다. 그런데 집 전체가 타고 있다는 사실은 — 때때로 보지 못합니다.
첫 번째 사례: '일단 서버 들어가서 고치세요'의 함정
제가 만들고 있는 AI 에이전트 시스템은 클라우드 서버에 올라가 있습니다. 쉽게 말하면, 제 노트북이 꺼져 있어도 인터넷 어딘가에 있는 컴퓨터에서 AI가 계속 돌아가는 구조입니다.
이 서버를 운영하다 보면 오류가 생기기도 합니다. 그때마다 AI가 내놓는 해결책은 한결같았습니다.
"서버에 직접 접속해서 이 부분을 수정하세요."
저는 바로 이의를 제기했습니다. 소프트웨어 개발에서 '코드를 올바르게 수정하고 배포하는 것'과 '운영 중인 서버에 직접 손을 대는 것'은 전혀 다른 방법입니다.
직접 손을 댄 내용은 다음에 새 버전을 배포하는 순간 깨끗이 사라집니다. 마치 페인트칠한 벽 위에 새 벽지를 바르면 페인트가 안 보이듯이요.
그래서 저는 분명히 말했습니다.
"소스코드 자체를 고쳐서 배포하는 방식으로 하겠습니다."
그런데 AI는 제 말을 이해하는 척하다가도, 다음 답변에서 또 같은 말을 반복했습니다. '서버에 직접 접속해서 고치세요.' 세 번, 네 번 같은 패턴이 반복됐습니다.
저는 그 말을 무시하고, 배포 설정 파일을 직접 열어 근본적인 수정을 요청했고, AI도 그 방향으로 함께 작업했습니다.
AI는 '지금 당장 오류를 없애는 것'에 집중합니다. 그 수정이 내일도, 다음 달에도 유효한지는 — 사람이 챙겨야 할 몫이었습니다.
두 번째 사례: AI가 열어준 뒷문
AI 에이전트가 제 컴퓨터 안의 파일을 정리하거나 작업을 대신 처리하려면, AI가 제 PC에 어느 정도 접근할 수 있어야 합니다. 그래서 그런 기능을 담당하는 도구를 하나 설치했습니다.
AI는 깔끔한 설치 방법을 알려줬습니다. 따라 했더니 잘 됐습니다.
그런데 저는 잠시 멈췄습니다.
'이 도구, 실제로 내 컴퓨터 어디까지 들어갈 수 있지?'
직접 확인해 봤습니다. 결과는 충격적이었습니다. AI 에이전트는 제가 작업하는 폴더뿐 아니라, 제 컴퓨터의 거의 모든 곳에 접근할 수 있는 상태였습니다. 개인 문서 폴더는 물론이고, 윈도우 운영체제의 핵심 시스템 파일이 들어있는 영역까지요.
비유하자면, AI 직원에게 창고 열쇠를 줬더니 — 사장실 금고 열쇠까지 함께 딸려온 것과 같은 상황이었습니다.
AI는 이 사실을 한 번도 언급하지 않았습니다. '동작한다'는 것만 확인했을 뿐, 그게 안전한지는 확인하지 않은 것입니다.
저는 즉시 구조를 바꿨습니다. 이 도구가 제 컴퓨터 전체가 아니라, 딱 작업 폴더 하나에만 접근할 수 있도록 울타리를 쳤습니다. 마치 창고 열쇠는 창고 자물쇠에만 맞도록 새로 만든 것처럼요.
'동작한다'와 '안전하다'는 전혀 다른 말입니다.
AI는 동작하는 것을 만들어줍니다. 안전한지 따지는 것은 — 사람의 몫이었습니다.
세 번째 사례: AI는 증상을 고쳤고, 나는 구조를 바꿨다
AI 에이전트가 어떤 일을 했는지 추적하기 위해 운영 기록을 남기도록 설정해두었습니다. 그런데 어느 날부터 새 버전을 배포할 때마다 그 기록이 통째로 사라지는 현상이 생겼습니다.
AI에게 원인을 물었더니 이렇게 답했습니다.
"기록 보관 설정에 문제가 있거나, 파일 접근 권한 문제일 것입니다. 해당 설정을 확인해 보세요."
뭔가 이상했습니다. 새 버전을 배포할 때마다 사라진다면 — 배포 과정 자체가 기록을 지우고 있는 게 아닐까?
배포 과정을 담은 설정 파일을 직접 열어 찾으니. 배포할 때마다 자동으로 실행되는 명령 중에 프로젝트 폴더 전체를 삭제하는 명령이 숨어있었습니다. 쌓아둔 운영 기록도, AI가 학습한 데이터도 — 배포 때마다 모두 지워지고 있었던 것입니다.
AI는 원인을 찾고 나자 이렇게 제안했습니다.
"삭제된 데이터를 복원하면 됩니다."
하지만 복원은 당장의 증상만 덮는 임시방편일 뿐, 구조적인 문제를 해결하는 진짜 답이 될 수 없었습니다. 저는 거기서 질문을 멈추지 않았습니다.
"이번에 복원해도, 다음 배포 때 또 지워지는 거 아닌가요? 지워지면 안 되는 데이터는 아예 배포 과정이 건드리지 못하는 별도 공간으로 옮겨야 하는 거 아닌가요?"
AI는 그제야 구조적인 해결책을 내놓았습니다. 운영 기록과 학습 데이터를 배포 과정이 절대 삭제할 수 없는 별도의 공간으로 완전히 분리한 것입니다. 이후 배포와 무관하게 데이터는 안전하게 보존되고 있습니다.
여기에 더해, 살펴보다 보니 조직 문서가 담긴 벡터(Vector) DB 역시 누락되어 있다는 사실을 발견했습니다. 제가 이 부분까지 지적한 후에야, AI는 두 개의 DB가 각각 안전하게 분리될 수 있도록 전체 구조를 조정하는 근본적인 해결책을 내놓았습니다.
AI는 지금 이 순간을 살고, 사람은 다음을 본다
세 가지 사례를 관통하는 두 번째 패턴은 이겁니다.
AI는 지금 눈앞의 오류를 없애는 데 최적화되어 있습니다. 하지만 시스템은 '지금'이 아니라 '계속' 돌아가야 합니다. 다음 업데이트 때도, 다음 달에도, 다른 사람이 이 코드를 만졌을 때도.
경험을 가진 사람은 '지금'뿐 아니라 '다음'을 봅니다. 임시방편이 언제 무너지는지, 보안 허점이 어디서 열려 있는지, 배포 과정 어딘가에 시한폭탄이 있는지 — 그걸 감지하는 것이 지금 AI 시대에 인간 전문가가 해야 할 진짜 역할입니다.
이 긴 이야기를 한 줄로 요약하면 이렇습니다.
"AI는 지금 이 순간을 살고, 사람은 그 다음을 본다. 그 간극이 안전한 시스템을 만든다."
실제 대화 기록과 문제 해결 과정은 유튜브 SunnyLab TV에서 확인하실 수 있습니다.
다음 편에서는 — OpenAI, Google, Meta의 AI를 하나의 시스템에서 비교 실험하는 이야기를 나눠보겠습니다. 특정 회사 AI에만 의존하지 않는 독립적인 에이전트 환경을 만들어가는 여정입니다. 구체적으로는 다음과 같은 환경들을 직접 구축하고 부딪혀 본 결과를 공유할 예정입니다.
내 PC 에서 일하는 AI 비서 군단 만들기 (Claude Desktop / Cursor + GPT 기반 멀티 에이전트)
빅테크 기업에서 독립하기: 무료 오픈소스 AI의 가능성 (Cursor + Llama 기반 멀티 에이전트)
우리가 쓰는 웹/모바일 앱에 AI 연결하기 (Google ADK + MCP 서버)
여러 AI가 알아서 협업하는 'AI 팀' 구축하기 (LangGraph, Crew AI + MCP 서버)
많은 기대 부탁드립니다.