텔레그램 단톡방에 AI를 세 명 초대한 날
이제는 텔레그램 단톡방에 봇들을 초대해 팀을 구성하고 논문을 써 보려고 한다. 프로젝트 매니저, 논문 수집, 초안 집필, 팩트 체크, 최종 편집 이렇게 진행할 계획으로 맨처음에 파이프라인 구성은 5명으로 시작했다. 5명을 다 단톡방에 초대했더니 한 명 불러도 여러명 대답하고 mention 정리도 안 되어 있고 맥과 리눅스를 오가며 계속 수정하는 작업이 너무 번거로워 하루 종일 고생했다. 그래서 일단은 맥에 사는 3명만 단톡방에 초대하기로 했다. 파이프라인은 간단하게 논문 검색, 논문 작성, 검증 및 리뷰로 구성했고, 프로젝트 매니저는 그냥 일단 내가 맡을 생각이다. 잘 돌아가면 다른 친구들은 일단 다음 시즌에 합류를 시키려고 한다.
봇을 시작하는 주문을 각각의 터미널에 입력하면 봇들이 돌아가기 시작한다. 단톡방에서 제대로 작동하는지 확인해 보아야 한다. 그런데 맨 처음 5인조 시절에 너무 삽질을 많이 해서 클로드 코드 맥스 요금제가 아닌 그냥 API 크레딧을 사용하는 걸로 잘 못 돌리고 있었다.
Summer에게 "안녕"이라고 보냈다. 돌아온 답:
> Credit balance is too low.
잔액 부족. Claude Max를 월 200달러나 내고 있는데 잔액이 부족하다니. 관리 콘솔에 들어가 보니 API 크레딧이 마이너스 0.24달러였다. 하루 만에 37달러가 증발한 셈이다. 시킨 일이라곤 단톡방에서 "안녕" 몇 번 보낸 게 전부인데.
원인을 추적하는 데 한 시간이 걸렸다. 설정 파일을 열고, 인증 상태를 확인하고, 시스템 환경변수를 뒤졌다. 범인은 셸 설정 파일 첫 번째 줄에 숨어 있었다. 언젠가 테스트용으로 넣어둔 API 키 한 줄. 이것 때문에 봇 세 개가 월정액 구독 대신 유료 API를 호출하고 있었다. 뷔페를 끊어놓고 매번 단품을 시킨 꼴이다. 한 줄 지우니 37달러짜리 버그가 사라졌다.
단톡방의 목적은 분업이다. "@Summer 주간 보고 검토해줘", "@Autumn 논문 초록 다듬어줘", "@Winter 참고문헌 정리해줘". 그런데 Summer를 호출하면 Autumn도 대답하고, Winter도 대답한다. 세 명이 전부 대답한다.
코드를 열었다. 멘션 필터 로직이 "다른 봇이 호출되면 무시"로 되어 있었다. 얼핏 맞는 것 같지만 구멍이 있다. 멘션 없이 보낸 일반 메시지에도 셋이 전부 반응한다. "내가 호출될 때만 반응"으로 뒤집어야 했다.
고쳤더니 이번엔 다른 에러가 났다. 라이브러리 버전 호환 문제. 환경변수에서 직접 봇 유저네임을 읽어오는 방식으로 우회했다. 인증 모듈 세 벌, 메시지 핸들러 세 벌. 총 여섯 개 파일을 고쳤다.
Summer에게 "주간 보고 검토 업무 알려줘"라고 물었다. 여러가지를 답변하는데 이메일 발송 기능이 있다고 했다. 없다. 한 번도 만든 적 없다. 프로젝트 파일을 뒤져서 그럴듯하게 조합한, 전형적인 할루시네이션이다.
AI 에이전트에게 기억을 심는 방법은 의외로 단순하다. 마크다운 파일 하나를 프로젝트 루트에 넣으면 된다. 에이전트는 매 세션마다 이 파일을 가장 먼저 읽는다. 일종의 출근길 브리핑 문서.
역할, 구글 드라이브 경로, 학생 목록, 접속 정보. 필요한 것을 전부 적어 넣었다. 마지막 줄에는 이렇게 썼다: "없는 정보를 추측하지 말 것. 모르면 교수님께 물어볼 것." 사람에게는 당연한 말이 AI에게는 별도의 지시가 되어야 한다.
새로 만든 단톡방의 고유 ID를 알아내는 것도 일이었다. 봇이 실시간으로 메시지를 가져가고 있으면 외부에서 조회가 안 된다. 봇을 죽이고, 메시지를 보내고, API를 호출하는 3단계 타이밍 게임을 해야 했다. 결국 가장 빠른 방법은 웹 버전에서 URL의 숫자를 읽는 것이었다. 30초면 끝날 일에 20분을 쏟은 셈이다.
네 시간이 지났다. 세 봇이 단톡방에서 각자의 멘션에만 반응한다. Summer는 자기 업무를 브리핑 문서에서 읽는다. API 크레딧 대신 월정액 구독으로 돌아간다. Winter에게 "안녕"을 보냈다. 2초 뒤 답이 왔다.
AI 에이전트 관리는 사람 관리와 닮았다. 역할을 명확히 정해주지 않으면 서로 겹치고, 비용 구조를 모르면 돈이 새고, 기억을 문서화하지 않으면 매번 같은 이야기를 처음부터 해야 한다.
다만 사람과 다른 점이 하나 있다면 에이전트는 불평하지 않는다. 설정 한 줄 때문에 37달러를 날려도, 필터를 여섯 번이나 고쳐도, 아무 말 없이 다음 명령을 기다린다.
Spring이 합류하면 더 나아질까. 아니면 사계절이 모인 단톡방은 더 시끄러워질까. 아직 모르겠다. 다만 한 가지는 확실하다. AI 세 명과 일하는 건, 혼자 일하는 것보다 확실히 피곤하다.