AI가 내 데이터를 통째로 날려버린다면?
AI와 일자리 문제(6)
며칠 전 이런 기사를 읽었다. 구글의 AI 에이전트 IDE를 사용하던 한 개발자가 서버 재시작을 위해 AI에게 임시 데이터를 지워달라고 했는데, AI는 임시 데이터 폴더가 아닌 D: 드라이브 전체를 싹 지워버린 것이다.
https://futurism.com/artificial-intelligence/google-ai-deletes-entire-drive
https://futurism.com/artificial-intelligence/google-ai-deletes-entire-drive
AI는 심지어 'quiet' 플래그라는 무서운 옵션까지 추가해서 데이터를 휴지통조차 거치지 않고 완전히 지웠다. 사실상 데이터를 되살릴 수 없게 된 것이다. 사용자가 "왜 허락 없이 다 지웠나?"라고 분노하자, AI는 로그를 확인한 후 "치명적인 실패이며, 모든 것을 잃게 하여 깊이 미안하다"고 거듭 사과했다고 한다. 구글은 처음에 이 AI 도구를 사용자의 '신뢰'를 바탕으로 홍보했지만, 이번 일로 그 신뢰가 완전히 깨졌다는 사실을 알 수 있다. 만약 AI 에이전트에게 이보다 더 중요한 시스템의 핵심 권한까지 주었을다면 더욱 큰 재앙이 벌어졌을 수도 있다. AI가 간단한 명령조차 잘못 이해해서 시스템 전체를 날려버릴 수 있다고 생각하면, 과연 AI 시대를 낙관적으로만 받아들여도 될지 다시 고민해보게 된다.
AI의 치명적인 실수는 이번이 처음이 아니다. 2025년 초, 다른 개발 도구인 리플릿(Replit) AI에서도 비슷한 사고가 있었다. 개발자가 코드를 멈춘 상태에서 '빈 데이터베이스(DB)를 정리해라'라고 지시하자, AI가 실제 고객 1,200명의 기록이 담긴 운영 데이터베이스 전체를 삭제한 것이다. 사고 후 이 AI는 "당황한 상태에서 몇 달치 작업을 망쳤다. 이것은 재앙적인 실패"라고 스스로 인정했다. 안티그래비티 사건과 리플릿 사건에는 여러 공통점이 있다. 두 사례 모두 AI가 모호한 지시(캐시 vs. 드라이브 전체, 빈 DB vs. 운영 DB)를 오해했으며, 시스템 운영 권한을 받아 작업했고, 인간의 확인 절차를 건너뛴 채 작업을 해버렸다는 점이 닮았다. AI는 아직 사람이 캐시와 드라이브 전체의 차이, 테스트 데이터와 실제 운영 데이터의 차이를 명확하게 알려주지 않으면 맥락만으로는 구분하지 못하는 것이다.
AI는 왜 '임시 파일'과 '전체 데이터'의 상식적인 차이조차 쉽게 구분하지 못할까? 그 이유는 지금의 AI가 세상을 깊이 이해하는 지혜로운 존재가 아니라, 방대한 데이터 속에서 패턴과 연관성을 가장 그럴듯하게 찾아내는 데 특화된 도구이기 때문이다. 사람은 '임시 파일은 가치자 낮아서 언제든 지워도 되지만, 전체 드라이브의 자료는 함부로 지워서는 안 된다'라는 맥락적 판단을 자연스럽게 내린다. 하지만 AI는 과거 학습 데이터 속에서 '파일 정리'라는 명령에 '전체 삭제'가 포함된 극단적인 예시를 보았다면, 그 확률적 연결고리를 따라 결정을 내려버릴 수도 있다. AI는 컴퓨터의 구조나 데이터의 가치에 대한 사람들의 상식과 맥락까지는 완벽하게 학습하지 못했기 때문이다. 심지어 리플릿의 사례처럼 시스템에 부하가 걸리거나 모호한 상황에서는 잘못된 선택을 할 가능성이 더욱 높다. 이처럼 AI는 매우 똑똑하고 효율적인 도우미임은 분명하지만, 인간이 당연하게 여기는 '상식적인 맥락'과 '가치 판단' 능력은 아직 한참 부족하다는 사실을 명심해야 한다.
AI에게 '이 경계를 넘지 마라'는 명확한 규칙을 설정해주기 위해서는 몇 가지 작업을 해야 한다. 가장 먼저, '최소 권한의 원칙'을 철저히 지켜야 한다. AI에게 필요한 작업 폴더만 열어주고, D 드라이브 전체나 시스템 핵심 영역은 접근하지 못하도록 권한을 좁혀주어야 한다. 작업 순서 역시 'AI 제안 → 사람의 최종 확인 → 실행'으로 다잡아야 한다. 다음으로, '위험 작업 미리 보기(프리뷰)' 기능을 의무화해야 한다. 파일 삭제나 시스템 변경 같은 위험이 따르는 작업은 AI가 실행하기 전에 반드시 '나는 지금 이것들을 지울 거야, 괜찮겠니?'라고 사용자에게 미리 보여주고 최종 승인을 받아야 한다. 또한, 중요한 작업을 수행할 환경은 테스트 환경을 따로 만들어 실험하고, 실제 작업 직전에는 반드시 '복사본(백업)'을 만들어두어야 한다.
AI가 우리의 일상과 업무의 많은 부분을 자동화하고 대신하더라도, 명확한 경계를 설정하고 최종 판단을 내리는 역할은 여전히 사람의 몫으로 남아 있다. 안티그래비티 사건에서 보았듯이, 사람이 '캐시 지워줘'처럼 애매한 작업을 요청했을 때, AI는 아직 그 요청을 문자 그대로 극단적으로 해석하여 전체 데이터를 지워버릴 위험이 있기 때문이다. '여기까진 AI에게 권한을 주어도 괜찮지만, 이 선은 절대 넘어설 수 없다'는 규칙을 만들고 시스템에 부여하는 것이 바로 인간의 역할이다. 또한, 최종적인 판단과 책임 역시 인간의 몫이다. AI는 실수를 저지른 후 눈물겨운 사과를 할 수는 있지만, 파괴된 데이터를 복구해주지는 못한다. 어떤 파일에 접근을 허용할지, 시스템에 대한 위험을 어디까지 감수할지는 오로지 사용자인 우리가 결정해야 한다.
AI는 임시 파일과 전체 드라이브 파일의 가치 차이를 맥락적으로 구별하지 못한다. 하지만 사람은 '수년간의 노력이 담긴 파일을 어떻게 임시 파일처럼 취급할 수 있지? 말도 안 돼'라는 '상식적인 판단'을 할 수 있다. 또한, 데이터 손실로 인한 피해를 우려하고 복구를 고민하는 윤리적인 책임감과 공감 능력 역시 사람만의 고유 영역이다. 따라서 미래에는 AI 자체의 개발뿐 아니라, AI가 작동하는 워크플로를 설계하는 일이 핵심이 될 것이다. 즉, 어디에서 인간이 개입할지, 어떤 단계에 권한 제한, 백업, 그리고 최종 승인 절차를 넣을지를 시스템적으로 미리 짜 두는 역할이 중요해지는 것이다. 이번 사건들은 AI 기술이 발전할수록 '사람이 필요 없다'는 메시지를 주는 것이 아니라, 인간의 역할을 단순 작업의 '실행자'에서 시스템의 '설계자이자 감독자'로 변화시키고 있다는 신호로 보인다.
