AI 자동화 실험에서 운영 실험으로의 여정 시작..
90일 전, 저는 퇴근 후 두 시간을 ‘AI 실험실’로 삼았습니다. 거창한 투자도, 팀도 없이, 단지 “AI를 실제 내 일에 어떻게 써먹을 수 있을까?”라는 질문 하나로 시작했습니다.
그리고 90일간의 실험으로 저는 네 명의 아주 유능한 'AI 신입사원'을 만들고 채용하는 데 성공했습니다. 24시간 잠재고객을 찾아내는 영업사원, 제 일정을 챙기는 개인 비서, 고객의 질문에 답하는 헬프데스크 직원, 그리고 긴 회의를 순식간에 요약하는 회의록 담당자까지. 제 개인 노트북 안에서 이들은 정말 완벽하게 작동했습니다.
하지만 바로 여기에, '실험'의 명확한 한계가 있었습니다.
만약 제가 노트북을 끄면 어떻게 될까요? 회사의 모든 AI 직원이 퇴근해버립니다.
두 명의 AI에게 동시에 명령을 한다면? AI 직원은 허둥대다 멈춰버릴지 모릅니다. 이것은 잘 만든 '시제품(PoC)'일 뿐, 고객에게 돈을 받고 팔 수 있는 '안정적인 서비스'는 아니었던 것입니다.
'장난감'과 '제품'의 결정적인 차이
실험에서 만든 AI 기능이 아무리 좋아도 실제 업무에서 안정적으로 돌아가지 않는다면 그건 단순한 멋진 데모에 불과합니다.
오류가 나면 누가 고칠 것인가?
성능은 어떻게 측정할 것인가?
비용은 감당 가능한가?
사용자 불만은 어떻게 반영할 것인가?
이제 저는 AI 실험을 “운영 실험”으로 확장하려 합니다. 실제 회사 시스템에서 돌아가는 수준으로 AI를 설계하고, 배포하고, 관리해보려는 시도입니다.
시즌1의 목표가 'AI로 이런 것도 가능하다'는 가능성을 증명하는 것이었다면, 시즌2의 목표는 이 가능성을 지속 가능한 비즈니스 가치로 전환하는 것입니다. 즉, 언제 어디서든, 몇 명이 접속하든 안정적으로 작동하는 '진짜 서비스'를 만드는 것이죠.
이를 위해, 저는 제 AI 신입사원들을 개인 노트북이라는 작은 방에서 꺼내, 거대한 클라우드라는 '최첨단 오피스 빌딩'으로 이사시키기로 결심했습니다. 그리고 이 복잡한 이사 과정을 위해, 세 가지 핵심 도구를 사용하게 될 것입니다.
독립된 사무실 (도커, Docker): MCP 모델을 기반한 , 각 AI 직원이 서로 방해하지 않고 자신의 업무에만 집중할 수 있도록, 완벽하게 분리된 '개인 사무실'을 만들어 줄 겁니다. 필요한 모든 장비와 소프트웨어가 갖춰진 이 사무실 덕분에, 어떤 환경에서도 일을 할 수 있어서, "제 컴퓨터에선 됐는데..."라는 숙제에서 벗어날 수 있습니다.
자동화된 총괄 매니저 (쿠버네티스, Kubernetes): 수많은 사무실을 일일이 관리할 수는 없습니다. 쿠버네티스라는 이름의 '총괄 매니저'는 24시간 모든 AI 직원의 상태를 감시합니다. 직원이 아프면(오류가 나면) 즉시 조치하고, 일이 몰리면 새로운 직원을 즉시 투입하는 놀라운 역할을 수행할 겁니다.
최첨단 오피스 빌딩 (클라우드 서버): 이 모든 사무실과 매니저가 들어갈 공간입니다. 필요에 따라 사무실을 순식간에 늘리거나 줄일 수 있는, 무한히 확장 가능한 거대한 빌딩이죠.
시즌 2, 여정은 이렇습니다
앞으로 연재될 글들을 통해, 우리는 아래와 같은 여정을 함께하게 될 것입니다.
1단계: 왜 우리 AI 직원들에게 '독립된 사무실(도커)'이 필요한지 알아봅니다. 이 독립된 사무실(도커)를 만드는 과정을 확인합니다.
2단계: 수많은 사무실을 관리할 '총괄 매니저(쿠버네티스)'를 왜 채용해야 하는지 이해하고, 실행하는 과정을 공유합니다.
3단계: 구글/아마존/MS의 거대한 오피스 빌딩(Cloud)에 입주하기 위한 비교와 분석을 통한 준비 과정을 거치고, 환경을 만듭니다.
4단계: 직원들이 잘 일하는지 한눈에 보는 '실시간 성능 대시보드'를 만듭니다.
5단계: 고객의 칭찬과 불만('사용자 피드백')을 학습시켜 AI를 성장시킵니다.
6단계: 마지막으로, 이 모든 것을 운영하는 데 들어가는 '비용'을 최적화하는 방법을 알아봅니다.
'만드는 것'과 '운영하는 것'은 완전히 다른 세계입니다.
시즌1이 아이디어와 AI 엔진, 코딩 실험의 영역이었다면,
시즌2는 AI엔진, 코딩실험을 넘어 아키텍처와 시스템, 그리고 비즈니스의 활용 가능성의 영역입니다.
'AI 빌더(Builder)'를 넘어 ' AI 오퍼레이터(Operator)'로 성장하는 저의 다음 여정에 함께해주시길 바랍니다.