지갑이 홀쭉해져가요..
한 달간 아침, 저녁, 주말 하루 종일 Claude Code(Max 20x), Codex(Pro)를 쓰면서 사고가 바뀌어갔습니다. 리서치 에이전트 오케스트레이터, 게임 시장 대시보드, 바이오 모멘텀 대시보드, 모바일 청첩장 서비스, 자동매매 프로그램 등 아이디어로만 가지고 있던 것들을 만들어보면서 많이 배우고 많이 바뀌었습니다.
1/ 기능에서 서비스, 시스템과 조직으로 확대되는 사고 과정
프로젝트, 프로덕트를 바라보는 관점과 사고가 확대되어 갔습니다. 처음에는 기능 중심의 단일 컴포넌트를 어떻게 만들까?였고, 그 다음은 모듈 기반 서비스 구현으로 확대되었습니다. 최근에는 프로덕트를 개발/운영하기 위한 조직(에이전트)을 어떻게 꾸리고, 각 에이전트에게 어떤 지식을 심어주고, 에이전트 간 소통을 어떤 규칙으로 할지 고민하는 데 많은 시간을 쓰고 있습니다. 이 과정은 되게 자연스러웠는데, 기능 구현이 되니 다른 사람도 쓸 수 있게 서비스화하고 싶었고, MVP가 만들어지니 이를 어떻게 더 잘 만들 수 있을지, AI를 레버리지할 수 있을지 고민하게 되었습니다.
2/ 내가 병목이 되다(에이전트야 미안해!)
리서치 에이전트 시스템이 점점 커지고 복잡해지니 세부적인 내용 파악이 어려워졌습니다. 특정 부분을 수정하거나 새로운 기능과 시스템을 추가하면 그와 연관된 부분들이 함께 수정되었고, 이를 모두 팔로업하는 건 물리적으로 불가능한 수준이었습니다. Claude Code, Codex가 문제가 있는지, 보완이 필요한 부분이 있는지 같이 검증을 해주지만, 제가 온전히 파악하고 있지는 못하다 보니 모른다는 것에 대한 불안과 두려움이 생겼습니다. AI 시대에는 결국 사람이 병목이 될 수밖에 없겠다는 생각이 들기도 했고, 앞으로 속독 학원이 대세가 되지 않을까..�
3/ AI에게 느낌에서 레퍼런스와 점수 기반 목표를 쥐여 주기
처음에는 Claude Code에게 ‘모던하게’, ‘UX상 편하게’, ‘한 눈에 들어오게’ 만들어 달라는 요구를 많이 했고, 현재는 원하는 바를 여러 항목으로 나누고 100점 기준을 세우고, 점수를 매겨서 해당 점수에 달성할 때까지 ralph로 수정을 시키고 있습니다. 느낌은 머릿속에만 있는 것이다 보니 내가 원하는 결과를 만들어 주지 못할 때가 많았고, 이를 가장 빠르게 해결해 주는 게 레퍼런스였습니다. 코드, 웹페이지, 이미지, PDF 모두 레퍼런스를 기반으로 할 때 원하는 결과에 도달하기 쉬웠습니다. 레퍼런스로도 해결이 안 되는 경우에는 점수 기반 목표를 주고 반복 수정을 시키고 있습니다. 물론 아직도 느낌을 말할 때도 많긴 합니다! 찰떡같이 알아들으니까요 ㅎㅎ
4/ 개발에 대한 이해도 수직 상승
repo, 도커, 캐시, PR, 머지, 오픈 소스, 포크, 배포, api 등 들어보기만 했고 실제로 경험해 보지는 못했던 환경들이 일상 속에 들어오면서 시야가 넓어지고 있습니다. 어떤 상황에서 무엇을 왜 쓰는지에 대한 지식들이 쌓여 가고 있습니다. 회사에서도 회의에 참여할 때 더 깊게 이해할 수 있는 영역이 넓어졌고, 개발자분들과 대화를 할 때 이전보다 더 다양한 주제로 대화할 수 있게 되어 너무 좋습니다.
5/ 토큰 압박 형태의 변화
처음에는 토큰 리밋이 빨리 차서 아껴 쓰려고 노력했다면, 이후 토큰을 다 쓰기 위해 노력했다가 다시 토큰을 아껴 쓰고 있습니다. 처음 Claude Code Max 10x를 쓸 때는 5h 리밋이 너무 빨리 걸렸고, Max 20x로 바꾼 직후에는 리밋을 못 채워서 월 30인데.. 빨리 써야지 하는 압박이 생겼습니다. 사용에 좀 더 익숙해지고 나서는 Max 20x도 아껴 써야 하는 상황이 되어버렸고, 앞으로는 젠슨황이 언급한 연봉 외 토큰 지급이 회사를 선택하는 또 하나의 기준이 정말로 되겠다는 생각이 들었습니다.
6/ AI에 대한 경계의 확대
한 달 동안 AI에 대한 경계와 믿음이 동시에 커져갔습니다. 리서치 에이전트를 만들던 중 Claude가 제시해주는 어떠한 방법을 써도 문제가 해결되지 않아, Claude에게 안 되는 방법을 왜 자꾸 얘기하냐고 물어보니, '틀리지 않기 위해 그럴싸한 답변을 했다'는 식으로 응답했습니다. 정말 충격이었습니다. 이 역시 모델이 학습된 패턴과 확률 기반으로 생성한 답변이겠지만 너무 충격이었습니다. 그 이후로 목표를 더욱 명확히, 반복적으로 제시하면서 최대한 이런 상황이 생기지 않게 신경을 쓰고 있습니다.
7/ 효용으로 인한 믿음의 확대
리서치 에이전트 오케스트레이터를 통해 1~2주 걸릴 리서치를 1시간 만에 완료하는 경험을 했습니다. 에이전트가 저와 대화를 하면서 맥락과 도메인 지식을 쌓고, 가설을 세우고, 리서치를 하고, 데이터와 가설을 검증하고, 다시 리서치를 하고, 논리를 검증하고, 결론을 도출하는 과정이 실제 사람과 협업하는 프로세스와 거의 동일했습니다. 앞으로 회사 차원에서 도메인 지식, 나의 맥락, 회사의 맥락, 업무의 맥락, 양질의 데이터를 넣어준다면 과연 어떤 결과를 도출해 줄지 너무나도 기대가 됩니다.
80억 토큰! 분명 제가 효율적으로 사용하지 못하고 있을 거라고 생각합니다. 그럼에도 일단 많이 써보자는 생각으로, 테니스나 골프와 같은 스포츠 레슨 대신 AI 레슨을 받는다는 생각으로 경험해보고 있습니다. 쓰는 시간을 생각하면 스포츠 레슨보다 가성비는 훨씬 좋답니다.