AI의 KPI, 토큰의 효율성
엔비디아의 젠슨 황은 'AI 인프라를 더 이상 비용을 쓰는 Cost Center가 아니라, 토큰을 생산하는 Factory로 정의'했다. 이는 AI 데이터센터를 바라보는 관점을 바꾸는 발언이다. 과거 데이터센터는 돈을 쓰는 비용 구조였다면 이번 정의로 인해 이제는 GPU를 포함한 데이터센터 내의 자원을 '토큰'을 생산하는 공장으로 정의한 것이다. 그런 이유로 GPU는 이제 원자재이고, 전력과 네트워크, 메모리는 이 공장을 돌리는 설비가 되었고, 토큰은 이 공장에서 생산되는 최소 단위가 된 것이다.
실제 현장에서도 이러한 변화는 빠르게 나타나고 있다. 실리콘밸리에서는 개발자들이 주당 수천 달러에 해당하는 토큰을 사용하는 것이 일반화되었고 이를 ‘토큰맥싱(Tokenmaxxing)’이라 부르며 일종의 생산성 지표처럼 받아들이고 있다. 한마디로 주당 얼마의 토큰을 사용했느냐가 개발자의 성과를 측정하는 잣대가 되고 있다. 더 나아가 기업들은 개발자에게 토큰 바우처를 지급하고 토큰 사용량을 기반으로 업무 몰입도와 활용 역량을 가늠하려는 시도를 하고 있다. 그렇게, 토큰은 더 이상 기술 내부의 단위가 아니라 조직과 개인의 성과를 측정하는 새로운 지표로 부상하고 있다.
그러나 여기서 중요한 질문이 생긴다.
토큰은 과연 생산되는 것인가 아니면 처리되는 것인가. 기술적으로 보면 토큰은 사용자의 프롬프트가 입력된 이후 모델이 추론을 수행하는 과정에서 순차적으로 생성되는 계산 결과다. 즉 토큰은 어떤 창고에서 꺼내 쓰는 자원이 아니라 매 요청마다 새롭게 계산되는 결과물이다. 이 관점에서는 ‘토큰 생산’이라는 표현보다는 ‘토큰 처리’가 더 정확하다.
하지만 산업적 관점에서는 이야기가 달라진다. 기업은 토큰을 기준으로 과금하고 토큰을 기준으로 인프라를 설계하며 토큰을 기준으로 수익을 계산한다. 결국 토큰은 계산의 결과이면서 동시에 매출의 단위가 된다. 그래서 기업 입장에서는 토큰을 “처리한다”기보다는 “생산한다”고 표현하는 것이 더 직관적이다. 기술과 산업 사이에서 동일한 대상이 다른 언어로 해석되고 있는 셈이다. 토큰은 계산 과정에서 생성되지만 비즈니스 관점에서는 시장에 공급되는 산출물이다.
하지만, 토큰 자체가 소비자에게 직접적인 가치를 제공하는 최종 상품은 아니다. 사용자는 여전히 서비스, 콘텐츠, 생산성 향상이라는 결과를 목표로 하고, 그 과정에 토큰은 그 과정에서 소모되는 내부 단위로서 새로운 기준이 되고 있다. 소프트웨어 시대에는 좌석 수(Seat), 사용자 수(User), 라이선스가 핵심 지표였다. 클라우드 시대에는 사용량과 트래픽이 중요해졌다. 그리고 AI 시대에는 토큰이 그 자리를 대체하고 있다. 이는 단순한 용어의 변화가 아니라 산업의 비용 구조와 경쟁 방식이 바뀌고 있다는 신호다.
이 변화 속에서 중요한 것은 토큰의 “양”이 아니라 “효율”이다. 단순히 많은 토큰을 소비하는 것이 생산성을 의미하지는 않는다. 오히려 불필요한 토큰을 줄이고 동일한 결과를 더 적은 토큰으로 더 빠르게, 더 낮은 비용으로 만들어내는 것이 핵심 경쟁력이다. 이는 마치 공장에서 원자재를 많이 쓰는 것보다 동일한 제품을 더 적은 원자재와 에너지로 생산하는 것이 경쟁력인 것과 같다.
그래서 앞으로 주목해야 할 것은 토큰 자체가 아니라 토큰을 둘러싼 지표들이다. 와트당 얼마나 많은 토큰을 처리할 수 있는지, 하나의 토큰을 생성하는 데 걸리는 시간은 얼마나 되는지, 토큰당 비용은 얼마나 낮출 수 있는지, 동일한 문맥을 재사용해 재계산을 얼마나 줄일 수 있는지와 같은 지표들이 중요해진다. 데이터센터는 더 이상 GPU 수로 경쟁하지 않고 토큰 처리 효율로 경쟁하게 될 것이다.
이 과정에서 토큰이 어디에서 처리될지, 어떤 경로로 이동할지, 어떤 메모리를 사용할지도 중요한 핵심 기술력이 되고 있다. 이 과정에 서버 내부와 서버간 그리고 랙간, 데이터센터간에 토큰을 처리하기 위한 데이터를 어떻게 이동시키고 어떤 위치에서 연산을 수행할지, 메모리는 어떻게 공유할 것인지를 제어하는 기술도 중요해지고 있다.
그렇게 토큰이 AI 인프라에 중요한 평가 기준이 되면서 토큰을 이용하는 개발자들마저도 업무력을 평가하는 잣대로 활용되고 있는데, 이는 그렇게 단순하게 재단할 수 없다. 토큰을 많이 쓴다는 것은 AI를 적극적으로 활용하고 있다는 신호일 수 있지만 그것이 곧 생산성을 의미하지는 않는다. 마치 키보드를 얼마나 두드렸느냐를 기반으로 개발자의 역량을 평가할 수 없는 것과 같다. 중요한 것은 얼마나 많은 토큰을 썼느냐가 아니라 얼마나 효율적으로 토큰을 설계하고 활용했느냐다.
또한, AI infra를 운영하는 측면에서도 핵심 경쟁력은 토큰이 가장 효율적으로 처리되고, 가장 적절한 위치에서 실행하게 만드는 구조를 디자인하는 것으로 정의될 수 있다. 그만큼 토큰을 기준으로 데이터센터와 AI 워크로드를 처리하고, AI infra를 운영하는 과정에 KPI를 측정, 평가하는 핵심 잣대로 활용하기 적합하다. 하지만, 젠슨 황의 ‘AI Factory’ 프레임은 GPU 중심 가치 사슬을 정당화하는 공급자 관점의 해석으로 GPU 투자를 정당화하는 논리로 확대 해석한 것이다. 딱, 산업 전환을 설명하는 강력한 통찰 정도로 해석해 AI 산업의 본질이 'GPU 경쟁'에서 '토큰 효율 경쟁'으로 전환되었다는 정도의 인사이트를 얻으면 충분하다.
❍ 작가의 2026년 IT/AI 트렌드 전망서
https://www.yes24.com/product/goods/154580236
❍ 작가의 AI 리터러시를 정리한 사전
https://www.yes24.com/product/goods/147569979