AI 업체를 차린다면… 초기비용, 유지비 얼마?

AI 사업의 숨은 원가… 토큰·GPU·데이터의 삼중 압박

AI 업체를 차린다는 건 단순히 모델을 만드는 일이 아니라, 매달 고정적으로 빠져나가는 비용 구조를 감당하는 일에 가깝다. 전통적인 소프트웨어 회사는 한 번 개발하면 사용자 수가 늘어도 비용 증가폭이 제한적이지만, 생성형 AI 서비스는 사용자가 질문할 때마다 연산비가 발생한다. 즉 매출이 늘면 비용도 함께 늘어나는 구조다. 그래서 AI 사업의 핵심은 “얼마나 똑똑한 모델인가”가 아니라 “사용자 1명당 남는 돈이 있는가”다.

사진=Wonderful PCB

초기 비용에서 가장 큰 항목은 컴퓨팅 인프라다. 고성능 GPU를 클라우드로 임대하면 A100 기준 월 약 150만 원 내외, H100은 200만 원대, 최신 B200급은 월 500만 원 수준까지 올라간다. 8장 클러스터를 구성하면 월 1,200만~4,000만 원이 순식간에 필요하다. 직접 GPU를 운영하지 않고 API 기반으로 시작해도 비용은 사라지지 않는다. 상용 LLM API는 사용량에 따라 과금되며, 중형 서비스라도 월 수백만 원에서 수천만 원까지 나올 수 있다. 트래픽이 커지면 연산비는 고정비가 아니라 가속적으로 증가한다.

인건비는 두 번째 핵심 비용이다. 머신러닝 엔지니어와 데이터 과학자의 연봉은 1억~1억6천만 원 수준이 일반적이며, 아키텍트·MLOps·AI PM까지 포함하면 소규모 5~6인 팀만으로도 연간 인건비가 5억~8억 원에 이른다. 여기에 4대 보험, 퇴직충당금, 복지비 등을 합치면 실제 기업이 부담하는 총원가는 더 커진다. 즉 기술 인력을 내재화하는 순간 매달 수천만 원 단위의 고정비가 확정된다.

데이터 구축과 법·보안 비용도 무시하기 어렵다. 도메인 특화 데이터 라벨링은 프로젝트 단위로 수천만 원에서 수억 원까지 들어갈 수 있고, 대규모 학습용 데이터셋을 구축하면 비용이 더 커진다. 특허 1건 등록까지는 약 500만~600만 원이 소요되며, 여러 건을 포트폴리오로 확보하면 수천만 원이 필요하다. ISMS-P 같은 보안·개인정보보호 체계를 구축하면 컨설팅과 시스템 개선 비용으로 수천만 원 이상이 추가된다. 이 비용은 매출을 직접 만들지 않지만, B2B·공공시장 진입에는 사실상 필수다.

결국 AI 업체의 현실적인 초기 세팅 비용은 최소 수억 원 단위다. 소규모 API 기반 스타트업이라도 초기 개발비와 인건비, 클라우드 비용을 합치면 1년 운영에 5억~10억 원은 필요하고, 자체 모델이나 GPU 클러스터를 운용하면 그 이상으로 올라간다. 유지비 역시 매달 수천만 원에서 억 단위까지 가능하다. AI 사업은 기술 데모보다 비용 구조 설계가 더 중요하다. 살아남는 회사는 가장 똑똑한 모델을 가진 곳이 아니라, 가장 정밀하게 원가를 통제하는 곳이다.