[業 DIVE] AI, ROI의 협곡을 건너는 법
AI 인프라 속 틈새 찾기
1. From CapEx to OpEx
지난 몇 년간 AI 시장은 거대한 군비 경쟁의 장이었다. 특히, 생성형 AI의 등장은 기술 패권을 차지하기 위한 빅테크 기업들의 천문학적인 자본 지출 경쟁에 불을 붙였다. 2024년 한 해에만 데이터센터 인프라 시장에 2,900억 달러가 투입되었으며, 이 중 Alphabet, Microsoft, Amazon, Meta 4개 사의 투자액이 2,000억 달러에 육박했다. 이들 기업은 2025년에 설비 투자를 40 % 이상 확대하겠다고 밝히며, AI 모델 학습과 배포에 필요한 컴퓨팅 파워 확보에 사활을 걸었다. 2025년 빅테크의 총 설비 투자액은 당초 2,800억 달러에서 4,050억 달러로 상향 조정되었으며, 2026년 이후에도 이러한 기조는 쉽게 꺾이지 아니할 것이다.
이러한 공격적인 투자는 AI가 가져올 미래 수익에 대한 거대한 베팅이자, 수요가 확실히 존재한다는 믿음에서 비롯되었다. 실제로 Microsoft는 AI 인프라 확충만큼 수요가 따라붙고 있다고 밝혔으며, Amazon 또한 “수요가 없으면 조달하지 않는다”라고 언급하며 투자의 정당성을 강조했다. 그러나 인프라의 규모가 빠르게 커질수록 시장의 관심은 운영 효율로 이동할 수밖에 없다. 다시 말해, GPU 확보에 집중했던 설비 투자(CapEx)의 시대는 점점 희미해지고 있으며, 구축된 인프라를 얼마나 효율적으로 돌릴 수 있는지, 즉 운영 비용(OpEx)이 기업 경쟁의 핵심 축으로 부상하고 있다.
TCO Problem
총소유비용(Total Cost of Ownership, TCO)란 자산의 구매 비용뿐만 아니라, 수명 주기 전체에 걸쳐 발생하는 직간접적 비용을 모두 포괄하는 개념으로, AI 시대의 비용 청구서라고 할 수 있다. AI 인프라 구축 이후, 시스템이 가동되는 순간부터 전력 비용 등 막대한 운영 비용이 눈덩이처럼 불어나기 시작한다. 빅테크 기업들조차 이 TCO의 압박에서 자유롭지 못하며, 마진율 하락이라는 현실적인 문제에 직면하기 시작했다.
AI 서버 랙의 전력 밀도는 기존 5~15 kW에서 100 kW을 넘어섰고, 2029년에는 1,000 kW에 달할 것으로 전망된다. 이로 인해 美 데이터센터 전력 수요는 2030년까지 현재의 3배로 증가하여 美 전체 전력 수요의 12 %을 차지할 수 있다는 예측이 나온다.
이러한 전력 문제는 우리나라도 마찬가지이다. 2024년 기준, 국내 데이터센터의 전력 소비 비중은 전체의 약 3.4 %로, 세계 평균 1.5 %의 두 배를 넘는다. 정부는 이미 2024년부터 수도권 신규 데이터센터 건립을 사실상 중단시키는 전력 계통영향평가 제도를 시행하며 전력 공급 제한 조치에 나섰다. 여기에 더해, 2022~2023년에 걸쳐 산업용 전기 요금이 70 % 가까이 인상되는 등, 국내 기업들은 이미 높은 에너지 비용 부담을 안고 있다. 이는 한국 시장에서 전성비를 높이는 기술 확보가 단순한 비용 절감을 넘어 기업의 생존과 직결된 과제임을 나타낸다.
On-Premise vs. Cloud
AI 도입 단계 초기에서는 유연성과 확장성을 제공하는 Cloud가 매력적인 선택지였다. 높은 초기 투자 없이도 AI 실험을 시작할 수 있기 때문이다. 그러나 워크로드가 안정적이고 지속적으로 운영되는 단계에 접어들면, 클라우드의 온디맨드 요금제는 오히려 비용 부담을 가중시킨다. TerraZone에 따르면, 200 개의 vCPU와 200 TB의 스토리지를 5년간 운영할 경우, Cloud 비용(약 85만 달러)이 On-Premise(자체 구축) 비용(약 41만 달러)의 두 배를 초과하는 것으로 나타났다.
손익분기점 분석(출처: Lenovo)또한, Lenovo에 따르면, 8 개의 NVIDIA H100 GPU를 탑재한 서버를 대상으로 온디맨드 요금제를 적용하면, 약 11.9 개월 사용 시 On-Premise 비용이 Cloud 비용보다 저렴해지기 시작한다. Cloud 사업자가 제공하는 1년 약정 할인을 적용해도, 손익분기점이 약 15.1 개월로 늘어날 뿐, 장기적으로는 On-Premise가 비용 측면에서 낫다는 결론은 불변이다. 이는 AI 서비스를 지속적으로 운영하는 기업 입장에서 Cloud의 운영 비용이 얼마나 큰 부담일지를 보여준다.
2. 추론 시장의 폭발
AI는 방대한 데이터셋을 모델에게 가르치는 학습(Training) 단계와 학습된 모델을 실제 서비스에 적용하여 새로운 데이터에 대한 예측이나 판단을 내리는 추론(Inference) 단계로 구성된다. 지금까지는 GPT 등 LLM을 탄생시킨 학습에 집중되었다면, 이제 시선은 점점 추론으로 가고 있다.
AI 애플리케이션이 성공적으로 상용화되어 수백만 명의 유저를 확보하는 순간, 추론 비용은 기하급수적으로 누적되어 초기 학습 비용을 압도하게 된다. OpenAI의 GPT-4 학습 비용은 1억 5천만 달러에 달했지만, 2024년 ChatGPT 서비스 운영에 따른 추론 비용은 23억 달러인 사실은 이를 상징적으로 보여준다. Gartner는 2025년까지 AI 인프라 지출의 80 %가 학습이 아닌 추론에 사용될 것으로 예측했으며, 한 시장 조사 기관은 전 세계 AI 추론 시장 규모가 2025년 1,061억 달러에서 2030년 2,549억 달러로 연평균 19.2 % 성장할 것으로 전망했다. 이러한 글로벌 트렌드는 국내 기업에게도 동일한 도전 과제를 안겨준다. 네이버(HyperClova X)나 LG(Exaone) 등 한국형 LLM을 개발하는 기업들 역시 서비스 상용화 단계에서 똑같은 OpEx 장벽에 부딪힐 것이다. 이들에게도 고비용의 엔비디아 GPU을 대체할 대안이 차차 요구될 것이다.
해가 저무는 GPU의 시대, 그리고 대한민국 팹리스의 기회
추론 시장의 폭발적인 성장은 AI H/W 시장의 근본적인 변화를 요구한다. 학습 단계에서는 범용성과 높은 연산 능력을 갖춘 GPU(Graphics Processing Unit)가 절대적인 강자였다. 그러나 추론은 학습과 달리, 낮은 지연 시간(Low Latency), 높은 처리량(High Throughput), 전력 효율성(Power Efficiency)을 동시에 만족시켜야 한다.
미국 빅테크들은 자체적인 대안을 모색했다. Google은 추론에 특화된 ASIC(주문형 반도체)인 TPU(Tensor Processing Unit)을 개발해 GPU 대비 월등한 효율을 확보했다. Amazon 역시 자체 칩인 Inferentia로 유사한 전략을 구사하고 있다. 하지만 이 칩들은 대부분 자사 전용이다. 즉, Google과 Amazon의 클라우드 서비스를 이용하지 않는 한, 他 기업들이 이러한 칩을 사용하기에는 제한적이다.
이러한 지점에서 우리나라 AI 반도체 스타트업에게 기회의 창이 열린다. 이들은 인간의 뇌 신경망을 모방해 AI 연산에 불필요한 기능을 제거하고 전력 효율을 극대화한 NPU(Neural Processing Unit) 개발에 집중하고 있다. 리벨리온, 퓨리오사AI 등과 같은 국내 주요 스타트업들은 NPU을 무기로 데이터센터와 엣지 컴퓨팅 시장을 공략하고 있다.
3. AI 시장의 문은 아직 닫히지 않았다
AI 시장은 '얼마나 강력한 모델을 만드느냐'의 싸움을 넘어, '얼마나 효율적으로 서비스를 제공하느냐'의 싸움으로 전환되고 있다. 천문학적인 설비 투자 이후 ROI의 협곡에 직면한 기업들은 이제 TCO라는 냉정한 현실을 마주하고 있다. 이 과정에서 추론 시장이 성장하면서, 만능 칩 GPU의 해는 저물고 있다. 이러한 상황은 우리나라의 스타트업에게 글로벌 핵심 플레이어로 도약할 수 있는 절호의 기회를 제공하고 있다.
본 게시물의 커버 이미지는 AI에 의해 생성되었습니다. 그리고 본 게시물의 글의 초안은 AI로 작성했으나, 구체적인 사실, 문맥 등은 필자가 직접 검토하고 수정하여 완성했습니다.
<References>
[1] IoT Analytics, "Data center infrastructure market: AI-driven CapEx pushing IT and facility equipment spending toward $1 trillion by 2030", (2025.11.12.)
[2] I/O Fund, "Big Tech’s $405B Bet: Why AI Stocks Are Set Up for a Strong 2026", (2025.11.12.)
[3] CNBC, "Google expects 'significant increase' in capital expenditure in 2026, execs say", (2025.10.29.)
[4] Janus Henderson Investors, "2025: The year AI comes of age", (2025.08.21.)
[5] VERTIV, "The cost impact of AI data center design, build and operations", (2024.12.16.)
[6] M-이코노미뉴스, "AI 활용의 확산, 수도권 전력망 과부하의 최대 리스크 될까", (2025.12.03.)
[7] 한경글로벌마켓, "韓은 '수도권 데이터센터' 사실상 금지", (2025.08.13.)
[8] 한국경제, "기업만 전기료 폭탄…脫한국 부추긴다", (2024.10.31.)
[9] TerraZone, "When to Keep On-Prem and When to Move to the Cloud", (2025.10.03.)
[10] Lenovo, "On-Premise vs Cloud: Generative AI Total Cost of Ownership", (2025.03.23.)
[11] io.net, "AI Training vs Inference: Key Differences, Costs & Use Cases [2025]", (2025.11.28.)
[12] A.I News Hub, "AI Inference Costs 2025: Why Google TPUs Beat Nvidia GPUs by 4x", (2025.11.30.)
[13] MARKETSANDMARKETS, "AI Inference Market by Compute(GPU, CPU, FPGA), Memory(DDR, HBM), Network(NIC/Network Adapters, Interconnect), Deployment(On-premises, Cloud, Edge), Application(Generative AI, Machine Learning, NLP, Computer Vision) - Global Forecast to 2030", (2025.02.)
[14] 서울경제, "[기자의 눈] 젠슨 황의 선물, 팹리스엔 눈물", (2025.11.11.)
[15] 경향신문, "GPU 사서 써도 NPU는 '토종' 키운다···한국의 AI 반도체 '투트랙' 전략", (2025.11.13.)