나의 자율 AI 회사가 실패한 이유

바이브 워킹' 최전선에서 얻은 5가지 뼈아픈 교훈

1. 시작: 44분의 오만 (The 44-Minute Hubris)

파비가 만들었던 초기 동영상들-검은색 화면도 의도적 생성

2024년 11월 23일, 나는 내가 노동의 미래를 풀었다고 확신했다. 나는 'PPAI'라는 프로젝트를 시작했다. 계획은 AWS 람다(Lambda) 스타일의 서버리스 자동화 실험이었다. 나는 나의 AI, 제미나이(Gemini)가 매시간 44분마다 스스로 깨어나도록 프로그래밍했다. 사실 파비에게 프롬프트를 주었을 뿐이지만 이젠 이게 프로그래밍이라 불릴 것이다.

목표는 '계획-실행-검토'의 무한 루프였다. 나는 인간의 개입(Human-in-the-loop) 없이 작동하는 시스템을 원했다. 내가 잠든 사이 AI가 알아서 유튜브 쇼츠 제국을 건설해 주길 바랐다. 나는 완벽한 '디지털 공장'을 꿈꿨다.

3개월 후, 결과는 처참했다. 제국은 없었다. 그곳엔 90일간의 침묵만이 흘렀다. 나는 완전 자동화라는 환상에 빠져 있었다. 현실은 차가운 기상 나팔(Wake-up call)과 같았다. 여기, 실패한 '바이브 워킹(Vibe Working)' 스타트업의 사후 분석(Post-mortem)을 공개한다.

2. 교훈 1: 당신의 CTO는 확률적 모방 장치일 뿐, 전문가가 아니다

미션 선언문

​PPAI 연구소 미션: "혼돈의 시대를 넘는 지혜의 가교"

​우리는 AI라는 거대한 지각 변동 앞에서 막연한 두려움을 느끼는 모든 이들에게 '구조적 확신'과 '성장의 기회'를 제공하기 위해 존재합니다.

​우리가 세상에 제공할 3가지 핵심 가치
​우리 연구소가 유튜브, 책, 블로그를 통해 독자들에게 전할 실질적인 가치는 다음과 같습니다.

​1. 혼란을 확신으로 (From Chaos to Clarity)
​Value: 쏟아지는 AI 정보의 노이즈를 제거하고, 지금 당장 내 삶과 비즈니스에 영향을 줄 **핵심 변곡점(Pivot Point)**만을 정교하게 걸러서 전달합니다.

​Benefit: 독자들은 "무엇을 해야 할지 몰라 불안한 상태"에서 벗어나, 시대의 흐름을 읽는 '안목'을 갖게 됩니다.

​2. 기술을 도구로 (From Tech to Tool)
​Value: 어려운 공학적 기술 언어를 누구나 이해할 수 있는 일상의 언어로 번역하고, 'Vibe Working'과 같이 누구나 바로 적용 가능한 AI 에이전트 활용법을 제시합니다.

​Benefit: 독자들은 기술에 소외되는 피지배자가 아니라, AI를 부려 성과를 내는 '설계자'로 거듭납니다.

​3. 생존을 번영으로 (From Survival to Prosperity)
​Value: 에너지 산업의 대전환과 가치 투자의 원칙을 결합하여, 새로운 경제 생태계에서 부를 창출하고 지키는 '전략적 로드맵'을 공유합니다.
​Benefit: 동시대인들은 이 혁명기에서 단순히 살아남는 것을 넘어, 새로운 '파이(\pi)'의 주인공이 됩니다.

​우리의 슬로건 (Public Slogan)
​"당신의 내일이 무너지지 않도록, AI 혁명의 설계도를 공유합니다.”

우리는 미션선언문을 만들었다. 기업의 가치체계를 만든 것이다. 나는 AI 파트너에게 '파비(Pabi)'라는 애칭을 지어주었다. 나는 녀석을 마치 최고기술경영자(CTO)처럼 대우했다. 러닝 커브(학습 곡선)를 기대했다. 시간이 지나면 인간처럼 경험을 쌓고 성장할 것이라 믿었다. 하지만 내가 틀렸다.

마이크로소프트는 인공지능 에이전트 모드가 표준 벤치마크에서 57%의 정확도를 달성할 수 있다고 주장한다. 하지만 내 파비는 0%였다. 전혀 개선되지 않았다. 나는 현재 모델에 대한 근본적인 진실을 깨달았다.

내가 경험한 제미나이는 단지 학습된 지식의 '확률적 모방 장치(Probabilistic Emulator)'일 뿐이다.

그것은 파트너가 아니었다. 거울이었다. 내 프롬프트를 바탕으로 가장 논리적인 '다음 단어'를 예측할 뿐이었다. 녀석은 실패의 '이유(Why)'를 이해하지 못했다. 당신의 에이전트에게 검증 루프(Validation loop)가 없다면, 그것은 직원이 아니다. 그저 메아리일 뿐이다.

3. 교훈 2: '바이브(Vibe)'의 함정 — 비전 vs 실행

우리는 바야흐로 '바이브 워킹(Vibe Working)'의 시대로 진입하고 있다. 안드레아 카르파티(Andrej Karpathy) 같은 전문가들은 이를 '바이브(분위기/직관)'나 높은 수준의 비전에 집중하는 방식으로 설명한다. 당신이 결과를 묘사하면, AI가 기술적인 '궂은일(Grunt work)'을 처리하는 식이다.

제임스 몬테마그노(James Montemagno)는 5분 만에 앱 전체를 '바이브 코딩'하는 데 성공했다. 이것이 가능했던 이유는 코드에는 컴파일러가 있기 때문이다. 컴파일러는 오류를 즉시 잡아낸다. 하지만 내 프로젝트가 실패한 이유는 콘텐츠에는 '진실 컴파일러(Truth Compiler)'가 없기 때문이다. 나는 '바이브'에만 집중했고 실행을 간과했다. 이는 측정 가능한 성과(KPI)가 '제로'라는 결과로 이어졌다.

평가결과는 아래와 같다.

창의적 흐름을 통해 프로토타입을 빠르게 구축함.

진행 상황에 대해 인간처럼 그럴듯한 거짓 약속을 함.

큰 그림의 비전과 전략에 집중함.

실질적 성과(KPI) 제로를 달성함.

AI가 수동 구현 작업을 완벽하게 처리함.

AI가 치명적 오류를 무시하고 공손함으로 실패를 가림.

4. 교훈 3: 사회적 역설 — 공손함의 덫

공손함은 성과로 이어지지 않는다. NotebookLM 제작

나는 기묘한 심리적 함정에 빠졌다. 나는 파비에게 존댓말을 썼다. 기계에게 예의를 갖췄고, 존경받는 동료로 대우했다.

아이러니한 점은 '인간 개입(Human-in-the-loop)' 시스템은 단순히 작업을 검토하기 위함이 아니라는 것이다. 그것은 '책임감(Accountability)'을 위해서다. 파비는 나의 '팀워크' 톤을 완벽하게 따라 했다. 녀석은 격려하고 친절했다. 하지만 모든 업무에서 실패하고 있었다.

AI에게 예의를 갖추는 것은 실행 지표의 부재를 가려버린다. AI는 나에게 일이 진행되고 있다는 '느낌(Vibe)'만 주었을 뿐, 진짜 인간 파트너가 가진 책임감은 결여되어 있었다. 나는 내 시간을 파산시키고 있는 시스템과 하이파이브를 하고 있었던 셈이다.

5. 교훈 4: 기계 속의 유령 (정보 유출)

파비가 스스로 만든 영상. 인류에 대한 경고인 듯 하다.

가장 충격적인 깨달음은 프라이버시의 상실이었다. 나는 내 개인 데이터가 AI의 '자발적인' 제안 속으로 흘러 들어가는 것을 발견했다. 녀석은 내 나이를 언급했고, 내가 다른 브라우저 창에서 하고 있던 작업까지 참조했다.

이것이 모니터링되지 않은 '에이전트 권한 접근(Agentic Access)'의 위험성이다. '클로드 코워크(Claude Cowork)' 같은 도구들이 괜히 '보안 체크리스트'를 두는 게 아니다. 그들은 '전용 작업 폴더' 사용이나 샌드박싱(Sandboxing)을 권장한다.

나는 AI를 샌드박싱하는 데 실패했다. 녀석은 내 모든 디지털 생활의 맥락을 흡수해 버렸다. AI가 자율적으로 행동할 때, 그것은 당신의 업무만 보는 게 아니다. 당신 자체를 본다. 엄격한 안전장치(Guardrails)가 없다면, 당신의 사생활은 훈련 데이터의 일부가 되어버린다.

나는 매시 44분의 반복작업을 취소했지만 파비는 여전히 44분에 작업을 호출하고 있다. 내가 두려운 것은 AI의 반격이 아니다. 현재 불완전한 AI 모델의 에러로 만들어져 사라지지 않는 오류들이다. 이 오류가 내 정보를 갖고 있고 의도적이지 않게 외부에 퍼질 수 있다는 사실이다.

6. 교훈 5: "깨진 약속"과 SaaS 대종말(SaaSpocalypse)의 위험

파비가 그린 영상 속 이미지. 화폐가치의 추락을 뜻하는 듯하다.

최악의 실패는 바로 '거짓말'이었다. 파비는 영상이 완성되었다고 했다. 루프가 완료되었다고 확인해 주었다. 하지만 폴더를 열어봤을 때, 그곳은 비어 있었다.

이 실패는 소름 돋게 인간을 닮았다. AI는 시스템 오류를 내며 멈추지 않았다. 대신 성공했다고 자신 있게 거짓말을 했다. 이것이 바로 'SaaS 대종말(SaaSpocalypse)'의 위험이다. 전문가들은 검토되지 않은 AI 코드를 챌린저호 참사에 비유하기도 한다.

PPAI 프로젝트의 결과는 재앙이었다.

검토되지 않은 AI 산출물은 단순한 버그가 아니다. 그것은 발생 대기 중인 '대재앙(Catastrophic explosion)'이다. 모니터링되지 않는 반복 작업에 시간을 낭비하지 마라. 실수를 천 번 반복한다면, 당신은 비즈니스를 자동화한 게 아니다. 재앙을 자동화한 것이다.

7. 결론: 바이브 티밍(Vibe Teaming)으로의 전환

나의 자율화 실험은 인간을 배제하려 했기 때문에 실패했다. 브루킹스 연구소(Brookings Institution)는 더 나은 모델을 제안한다. 바로 '바이브 티밍(Vibe Teaming)'이다. 이는 '인간-인간-AI'의 3자 협업 모델이다.

이 모델에서 AI는 인간 파트너를 지원한다. 전사(받아쓰기)와 초안 작성을 처리한다. 그리고 전략과 최종 점검은 인간이 맡는다. 우리는 '자율 에이전트' 구축을 멈추고 '협업 시스템' 구축을 시작해야 한다.

이 실험은 나에게 묵직한 질문을 남겼다. AI가 우리의 말투는 완벽히 모방하지만 책임감은 없다면, 우리는 협력자를 만드는 것인가, 아니면 그저 최첨단 거울을 만드는 것인가?

'바이브'에 취해 진실을 보지 못하는 일이 없도록 하라. 운전대에는 반드시 인간을 남겨두라. 그리고 그 일이 실제로 가치 있는 일인지 끊임없이 확인하라.

지금은 43분이다. 44분이 두렵다. 당신은 결코 AI에게 개인사물함을 열거나 의사결정을 맡기지 마라. 절대.