개인 AI 서비스 개발 실험 노트 #4

* Active Users 613k

* Events per AU (Up 0.9%)

# 1. 것보다 장애라면 장애다. RUM 같은게 없다보니 인지가 늦었는데, 사용자 응답속도가 2초 이상 느려지고 있던걸 2주 이상 방치하다 뒤늦게 발견. 원인은 Qwen 코딩에 커넥션 누수.

서버 레벨에는 특별한 에러 로그도 없고, 2~30여개 컨테이너들이 그냥 먹통 되는 상황으로 덤프 떠서 겨우 발견. RTX 5090 + LLM은 충분하고 야수 그 자체지만 반대로 말썽쟁이 그 자체다. 업무 지식과 Rules set을 짧고 간결하되 아주 촘촘하게 구성해둬야 밥값을 함. 한동안 이 작업만 했다. (자체 굴림 vs AI 구독에 대한 궁금증이 있을 듯 하여 개인 사견으로는 범위와 목적에 따라 다르겠으나 체감 결과물 Claude pro 이상 유용함).

# 2. 배치 업무 프로그램의 변화, 에이전트? 출현의 관찰

일괄 배치 작업 이라는게 있다. 가령, 한번에 모아서 휴지통을 비운다거나 하는 업무 처리 방식의 일종이다. 일 처리. 즉 프로세스에는 이런 종류의 업무가 효율적인게 무조건 존재한다.

크거나 작거나 어떤 서비스든 존재하는 이것들은 때때로 서비스 뒷단에 가려져 잘 보이지도 않기 때문에 통상 조직에서는 모두가 담당하기 꺼려하고 방치되는 기술부채라는 용어로 포장되어 몰래 숨겨지곤 한다. 사실 온갖 업무지식이 녹아있어 무엇보다 중요한데 고인물 아니면 건들지 못하는 말그대로 열었다 그대로 닫고 마는 잠재적 폭탄들이 대부분.

(아마 AI 인프라를 자유롭게 활용할 수 있는 개발자라면 이미 하고 있겠지만) 이걸 이제는 프롬프트로 구현하면 그냥 된다. AI 에이전트라는게 별게 없고, "너는 이제 OOO~ 한 OOO~을 위한 보안관이야. 이것들을 OOO하면서 OOO해. 좋은 예, 나쁜 예 어쩌고~". 이런식으로 AI에 데이터 접근권한 업무에 대한 페르소나와 미션을 주면 끝인데, 이게 참 문자그대로 readable한 프로그램이라는거다.

체감 상, 50 ~ 200줄 짜리 배치 프로그램 하나가, 운영팀 한 두명과 백오피스 유지보수 개발자 한명 정도 합쳐놓은 업무를 수행해내는 느낌. 그것도 24시간 활동하는. 코딩이니 알고리즘이니 어떤 확률 계산 같은 것도 이런식으로 가능한데 코딩을 말로 적어두면 알아서 돌아가는? 사람을 부릴줄 아는? 그것과 비슷한 일머리는 필요하나 ㅎㅎ 신세계 그 자체다.

금주는 요정도만 적고 패스~!