한달간 480달러를 쓰고 나서야 보인 것들
3월에 목표 중 하나는 정말 AI 도구를 잘 써보는 것이었다.
초기에 회사에서 클로드 코드(Claude Code)를 일정 수준 이상 사용하는 임직원들에게 API Plan을 제공했다. 처음 대시보드에 들어가보니 사용자별 토큰 비용을 확인할 수 있는 영역이 있었다. 다른 사람들의 사용량을 보며 문득 든 생각은 딱 하나였다. '이거 회사에서 조만간 비용 통제 들어오겠다.'
그 전에, 클로드 코드로 할 수 있는 것들의 가능성을 최대한 확인해보고 싶었다. 3월 한 달간 약 480달러를 쓰며 다양한 시도를 해봤다. 문서를 작성하는 것부터, 시장 조사 자동화, 프로덕트 조사 자동화, 프로젝트 관리 등 다양한 영역에서 클로드 코드와 함께 작업을 했다. 그 과정에서 비용과 가치 측면에서 느낀 점들을 여러가지 정리해봤다.
토큰 비용이 결코 저렴하지 않다. 그럼에도 대시보드를 보면 상당한 비용을 쓰는 사람들이 적지 않다는 것을 알 수 있다. 기업 입장에서 적지 않은 비용이겠구나 생각이 들었다.
이런 현상을 바라보며, 앞으로는 AI 시대에는 직무를 막론하고, 핵심 역량 중 하나가 자신의 효용성을 스스로 증명하는 것이라는 생각을 했다. 한 개인의 평가는 인건비뿐만 아니라 나에게 붙은 토큰비 대비 얼마나 많은 일을 했는지로 평가받을 것 같다는 생각을 했다.
코로나라는 격변기에 등장한 재택근무는, 사무실에 출근만 하는 사람과 실제로 일하는 사람을 구분했다. 지금 AI 시대에는 세 부류로 나뉠 것이다. 토큰(AI)을 아예 활용하지 못하는 사람, 쓰고는 있지만 비용 대비 가치를 만들지 못하는 사람, 그리고 투입한 토큰 이상의 결과를 증명하는 사람. 자영업이든, 회사 소속이든 지금 내가 쓰는 토큰이 어떤 가치를 만들고 있는지 한 번씩 되돌아볼 필요가 있다.
한창 링크드인에서 Anthropic, OpenAI, Google, xAI 등 각 진영의 모델이 나올 때마다 성능을 비교하는 것을 그저 구경만 하던 시절이 있었다. 그때는 '큰 차이가 있을까' 싶었다. 하지만 AI를 활용하는 업무 범위가 다양해질수록, 그리고 비용이 점점 올라갈수록 각 모델의 수준과 특성, 그리고 비용을 이해하는 것이 정말 중요하다는 것을 느꼈다.
클로드 코드를 예로 들면 크게 세 가지 모델이 있다. Haiku, Sonnet, 그리고 Opus다. Haiku는 경량형으로 짧은 글이나 단순한 작업에 적합하고 비용도 비교적 저렴하다. Sonnet은 동일한 토큰 기준 Haiku의 약 3배 비용이지만, 문장력과 논리력이 확실히 낫다. Opus는 Sonnet 대비 5배, Haiku 대비 15배 비싸며 법률·의학 분석이나 수학·과학 연구 수준의 작업에 쓰인다고 알려져 있다.
이 차이를 인지한 후, 내가 쓰는 작업들에 모델을 재배치했다. 짧은 글 생성이나 간단한 코드 실행은 Haiku로 바꾸고, PRD 작성이나 Red팀을 통한 문서 비판 검토는 Sonnet으로 처리하는 식이다. 과정에서 다양한 실험도 해봤다. Opus를 중간에 넣었을 때 결과물 차이를 비교하거나, [PRD 작성 → Red팀 검토 → PRD 수정] 프로세스에 Haiku와 Sonnet을 섞어 돌려보거나 하는 방식이었다.
결론은 명확했다. 내 업무 수준에서 Opus를 쓴다고 5배 이상의 효용이 나오지 않았다. 차라리 Sonnet으로 초안을 탄탄하게 쓰고, 같은 Sonnet으로 비판적으로 검수하는 편이 훨씬 나았다. PRD 프로세스도 마찬가지였다. PRD 초안 단계에서 Haiku를 쓰면 결과물 품질이 낮아 Red팀 검토 효율도 함께 떨어졌고, Red팀 자체에 Haiku를 쓰면 비판의 밀도가 부족했다. 결국 전 단계를 Sonnet으로 통일하는 게 나았다.
이처럼 내가 진행하는 업무의 범위가 넓어질수록, 필요한 Skill 유형이 다양해진다. 이 때 어떤 모델을 활용하는 것이 가장 비용대비 효율적인 결과물을 낼 수 있는지, 모델을 이해하고 끊임없이 실험해야한다.
우리 회사는 Google Workspace를 사용하기 때문에 Gemini Pro 계정도 함께 제공된다. 비용 효율을 고민하다 보니 자연스럽게 눈이 갔다. 처음엔 ChatGPT로 시작했다가 회사에서 제공하는 Gemini로 넘어왔고, Claude를 쓰기 시작한 3월에는 거의 Claude만 사용했다. 한동안 Gemini에 관심을 두지 않았다고, 다시 돌아보게 됐다.
회사 사정마다 다르겠지만, 별도로 제공되는 계정이나 도구가 있다면 놓치지 않는 게 좋다. 굳이 CLI나 에디터(ex.VS Code) 환경에서 작업할 필요가 없다면 일반 앱에서 처리하는 것이 비용 면에서 훨씬 효율적이기도 하다. 특히, Gemini Pro는 월 3만원 수준에 사고 모델 일일 300회, 검색 100회를 제공한다. 개발자가 아닌 PM 직군에게는 충분히 가성비 높은 선택지다.
나도 2-Pager 아이데이션이나 문서 초반 논리를 다듬을 때는 Gemini의 사고 모델로 방향성을 먼저 잡는다. Deep Research 기능은 Claude API로 리서치할 때보다 오히려 더 만족스러운 결과를 줄 때도 있다. 이렇게 나온 결과물을 토대로, 문서의 흐름과 컨텍스트를 먼저 정리하고 이를 Sonnet으로 작업하면 훨씬 더 완결성 있는 초안을 더 저렴하게 만들 수 있다.
Claude Code는 CLI 도구이기 때문에, VSCode 같은 에디터에서 현재 작업과 관계없는 파일을 열어두면 그것까지 Context로 잡혀 토큰이 낭비되기도 한다. 이처럼 내가 모르는 사이에 비용을 끌어올리는 요소들이 있다. 몇 가지 습관만 잡아도 체감 비용이 꽤 달라진다.
대화 세션을 자주 초기화한다. Claude Code에서는 /clear 명령어로 컨텍스트를 리셋할 수 있다. 연관 없는 작업을 같은 세션에서 이어가면, 이전 대화 전체가 매 요청마다 토큰으로 함께 전송된다. 작업이 바뀔 때마다 세션을 새로 시작하는 것만으로도 낭비를 줄일 수 있다.
프롬프트를 구체적으로 쓰는 습관을 들인다. 모호한 요청은 모델이 여러 방향으로 탐색하게 만들고, 그만큼 토큰을 더 쓴다. "이거 고쳐줘" 보다 "3번 함수의 반환값 타입 오류만 수정해줘"가 더 짧고 정확한 응답을 유도한다. 핑퐁이 줄어드는 만큼 비용도 준다.
큰 파일은 필요한 부분만 전달한다. 100페이지짜리 문서 전체를 넘기는 대신, 관련 섹션만 복사해서 붙이는 것이 낫다. 모델이 읽어야 할 양이 줄면 응답 속도도 빨라지고 비용도 내려간다.
특히나 많이 활용하는 데이터 분석도 마찬가지다. CSV 같은 raw 데이터 파일을 다룰 때도, 수천 행짜리 원본을 그대로 Sonnet에게 넘기는 대신, Haiku로 한 번 전처리하거나 집계한 결과물을 먼저 만들어두는 것이 좋다. 무거운 원본을 한 번만 소비하고, 가벼운 결과물을 여러 번 재사용하는 구조를 만드는 것이다.
이런 습관들이 쌓이면, 같은 결과물을 만드는 데 드는 비용이 눈에 띄게 달라진다. 어쩌면 기업이 PM 한 명의 가치를 '급여 + 토큰 비용 대비 산출물'로 환산하는 시대가 올 수도 있다. 비용을 아끼는 것과 함께, 내 토큰의 가치는 앞으로 어떻게 증명할 수 있을지, 이게 당분간의 고민이 될 것 같다.