AI 에이전트 행동, 다 보인다!
보이지 않는 곳에서 일하는 AI, 투명하게 추적하고 통제하기
지난 실험에서 AI 에이전트에게 '사람의 승인(Human-in-the-Loop)'이라는 필수적인 브레이크인 안전장치를 확인 했습니다. 그리고 다음 단계로, 이 비서가 도대체 뒤에서 무슨 일을 어떻게 처리하고 있는지 낱낱이 기록하는 '로깅(Logging)과 모니터링(Monitoring)' 시스템 구축을 예고했었죠.
단순히 로그를 남기는 것을 넘어, 이번에는 클라우드(Remote)와 내 PC(Local)를 넘나들며 발생하는 모든 AI의 행적을 한곳으로 모아 직관적으로 검색하고 트러블슈팅할 수 있는 '통합 대시보드 환경'을 직접 구현해 보았습니다.
1. AI는 보이지 않는 곳에서 무엇을 하고 있을까?
AI 에이전트에게 업무를 맡기다 보면 가끔 이런 불안감이 듭니다. "알아서 잘하고 있는 건가?" 실제로 에이전트는 프롬프트 한 줄을 실행하기 위해 백그라운드에서 수많은 도구(Tool)를 호출하고 시스템에 접근합니다.
예를 들어 볼까요?
"오늘 캘린더 약속 확인해 줘" → Get calendar events 호출
"읽지 않은 이메일 확인해 줘" → Fetch unread emails 호출
"제품 가이드 문서 업로드해 줘" → Upload company document 호출 후 데이터 저장
이러한 원격(Remote) 작업들뿐만 아니라, 내 PC의 폴더를 스캔하고(List Directory), 파일 정보를 읽어(get file info) 조건에 맞게 파일명을 싹 변경하는(Move File) 로컬(Local) 제어 작업까지. 이 복잡한 일련의 과정들이 아무런 기록 없이 블랙박스 안에서만 이루어진다면, 작업이 실패했거나 사고가 났을 때 원인을 찾기란 사막에서 바늘 찾기나 다름없습니다.
2. 흩어진 AI흔적을 하나로: 통합 로깅 아키텍처 설계
이 문제를 해결하기 위해, 클라우드와 로컬로 완전히 분리되어 있는 작업 로그를 한곳으로 모으는 파이프라인을 설계했습니다.
설계도를 보시면, 중앙의 GCP VM을 중심으로 두 갈래의 데이터 흐름이 하나의 목표점을 향해 모이는 것을 알 수 있습니다.
Remote MCP (실시간 클라우드 로깅): 에이전트가 클라우드나 외부 API를 사용할 때, 미들웨어(Middleware)가 도구 호출 과정을 실시간으로 가로챕니다. 그리고 즉시 중앙의 통합 SQLite DB에 소스(source)="remote"라는 꼬리표를 달아 저장합니다.
Local MCP (주기적 로컬 로깅): 반면 내 PC(로컬)에서 벌어지는 작업들은 로컬 로그 수신기를 거쳐 주기적으로 서버의 Receiver API로 전송됩니다. 서버는 이 데이터를 추출(파싱 Parsing)하여 동일한 DB에 소스(source)="local"로 저장합니다.
결과적으로 완전히 다른 두 공간에서 발생한 로그들이 '통합 SQLite DB'라는 하나의 그릇에 담기게 되고, 비로소 전체 시스템을 관통하는 뷰(View)를 만들 준비가 끝납니다.
3. AI 모든 행적을 한눈에: 통합 로그 대시보드의 탄생
이렇게 구축된 튼튼한 백엔드를 바탕으로 화면에 구현된 것이 바로 '통합 대시보드'입니다.
대시보드를 열어보면, 방금 AI 에이전트가 수행한 행동들에 대한 구체적인 데이터가 깔끔하게 정렬되어 있습니다.
실행 시간과 흐름: 어떤 툴을 어떤 순서로 호출했는지 시간대별로 꼼꼼하게 기록됩니다.
작업의 상세 내용: 로컬 작업의 경우, 특정 파일이 기존의 어떤 경로에서 새로운 어떤 경로로 옮겨졌는지 그 상세 내역까지 짚어냅니다.
입체적인 분석: 필터를 전체로 선택하면, 동일 시간대 로컬과 원격의 호출 수, 성공률(Success), 에러 발생 건수를 한 화면에서 종합적으로 파악할 수 있습니다.
이제 에러나 사고가 발생하더라도 당황할 필요가 없습니다. Dashboard를 통해 어디서, 어떤 도구를 호출하다가, 무엇이 잘못되었는지 즉각적이고 정확한 트러블슈팅이 가능해졌기 때문입니다.
마치며: 시스템을 넘어, 결국 핵심은 '사람의 가이드'
이전의 다중 사용자 인증과 배포 로직, 그리고 이번 까지 통합 로깅 아키텍처 설계와 대시보드 구현을 통해 AI를 실제 업무 환경에 안착시키는 과정은 매번 새로운 구조를 짜고 검증하는 연속이었습니다.
하지만 이 모든 기술적 뼈대를 세우고 나서 깨달은 본질이 하나 있습니다. 아무리 완벽한 모니터링 시스템을 갖추고 자동화를 이루어내더라도, 결국 그 방향을 결정하고 결과를 통제하는 것은 현재는 사람의 명확한 '가이드'라는 사실입니다.
AI는 우리의 훌륭한 손발이 되어줄 수 있지만, 현재는 모든 판단을 완벽하게 위임할 수는 없습니다. 다음 글에서는 제가 생생한 구동 화면을 마주하며 직접 겪고 느낀 'AI 에이전트 자율성의 한계'에 대해 솔직하게 공유해 보려 합니다.
어제는 도면 위에만 있던 아키텍처가 오늘 내 눈앞에서 살아 움직이는 이 흥미진진한 여정에, 다음 편도 많은 기대 부탁드립니다.
상세한 구현 시연은 영상에서 직접 확인하실 수 있습니다 -> https://youtu.be/0gpnKgkb2qU