AI는 도입됐다.
그런데 왜 돈이 안 되는가
지금 필요한 것은 AI 기술이 아니라 AI 설계다
기업들이 AI에 돈을 쓰지 않아서 문제인 시대는 끝났다. 이제는 반대다. 쏟아붓는데도 안 된다는 것이 문제다.
Roland Berger가 2025년 12월 5개국 203개 기업 C레벨 임원을 조사한 결과, 약 90%가 AI 투자 대비 기대 수익에 미치지 못한다고 답했다. 기술이 실패한 것이 아니다. 오히려 기술은 제대로 작동하고 있다. 그런데도 손익계산서는 움직이지 않는다. 보고서는 이것을 "번영하는 듯 보이지만 수익은 없는 상태"라고 부른다.
지금 기업의 AI 과제는 더 이상 "도입할 것인가"가 아니다. "어떻게 하면 돈이 되게 만드는가"다.
두 개의 속도 이야기
AI 성과를 이해하려면 속도를 둘로 나눠야 한다. 하나는 현장에 올리는 속도, 다른 하나는 그것이 실제 수익으로 돌아오는 속도다. 이 둘은 다르다. 그리고 그 차이가 기업의 운명을 가른다.
조사 결과, 37%의 기업은 9개월 안에 AI를 실제 운영 단계에 올린다. 그런데 같은 기간 안에 투자 비용을 회수하는 기업은 31%에 그쳤다. 6%포인트 차이처럼 보인다. 그러나 이것이 시간과 함께 쌓이면 "비용은 즉시, 수익은 나중"이라는 구조가 굳어진다. 거의 4분의 3의 기업이 프로젝트가 예상보다 늦어진다고 답했고, 비용 회수 시점을 제때 맞추는 기업은 14%에 불과했다.
AI를 현장에 올리는 것은 이제 어렵지 않다. 진짜 어려운 것은 그것을 돈이 되게 만드는 일이다.
시장은 이미 네 종류의 기업으로 갈라졌다
보고서는 조사 대상 기업을 네 그룹으로 나눈다.
전체의 10%인 '산업화 기업'은 현장 도입 속도와 수익 실현 속도를 거의 일치시킨다. 연간 100억 원 이상의 성과를 내는 기업이 이 그룹에 집중돼 있다. 39%의 '정체 기업'은 의지도 강하고 예산도 충분하다. 그런데 수익은 최하위다. 빠르게 뛰고 있지만 제자리에서 뛰고 있다. 49%의 '관찰자'는 소규모 시험 도입을 반복하지만 전사 확산 단계로 넘어가지 못한다.
중요한 사실은 이것이다. 많이 투자한다고 성과가 따라오지 않는다. 산업화 기업은 단순히 더 많이 쓰거나 더 빨리 움직이는 기업이 아니다. 다르게 운영하는 기업이다.
지역과 산업에서도 격차는 뚜렷하다. 일본의 산업화 기업 비율은 27%로 글로벌 평균의 2.7배다. 독일·오스트리아·스위스 지역은 6%에 머문다. 금융서비스는 전 지역에서 고전하며 5%에 불과하다. 더 흥미로운 반전은 기술·미디어·통신 분야다. 기술적으로 가장 정교하다고 알려진 이 산업에서 오히려 정체 기업 비율이 54%로 전 업종 중 가장 높다.
기술을 잘 아는 것과 기술로 돈을 버는 것은 전혀 다른 능력이다.
대기업도 예외가 아니다. 직원 5,000명 이상 기업의 약 80%가 정체 그룹에 속한다. AI에 소극적이어서가 아니다. 오히려 반대다. 충분히 투자하고도 결과가 늦다. 규모가 커질수록 데이터는 흩어지고, 내부 시스템은 복잡해지고, 통합의 무게가 성과를 잡아먹는다. 대기업의 AI 문제는 기술 부족보다 통합의 복잡성에 더 가깝다.
효율은 오르는데 수익이 안 오르는 이유
정체 기업들이 무능한 것이 아니다. 많은 수가 업무 효율 지표에서는 기대를 충족하거나 초과한다. 문제는 그 효율이 재무 성과로 이어지지 않는다는 점이다. 산업화 기업의 43%가 수익·가치 목표를 꾸준히 초과하는 반면, 정체 기업은 약 6%만이 그렇다.
프로젝트는 돌아간다. 팀은 바쁘다. 대시보드도 움직인다. 그런데 손익계산서가 반응하지 않는다. 이것이 오늘날 수많은 기업이 겪는 가장 현실적인 AI의 역설이다.
원인은 두 가지다.
첫째, 성과를 제대로 측정하지 못한다. 63%의 기업이 AI 성과를 일회성 사전·사후 비교나 직감으로 판단한다. AI가 실제로 얼마를 벌어주는지 지속적으로 추적하는 기업은 25%에 그친다. 산업화 기업은 그렇지 못한 기업에 비해 실시간 성과 추적 비율이 4배, 비교 실험 활용률이 5배 높다. 이 차이는 단순한 보고 습관의 문제가 아니다. 무엇이 성과인지, 언제 멈추고 언제 확장할지, 어디에 더 투자할지를 판단하는 조향 능력의 차이다. 측정이 약한 조직에서 AI는 성과를 못 내는 것이 아니라, 무엇이 성과인지조차 분명해지지 않는다.
둘째, 겉만 바꾸고 속은 그대로다. 보고서는 이것을 "페라리 외관에 카트 엔진"이라고 표현한다. 최신 AI 도구는 도입했지만, 기존의 낡은 내부 시스템 위에 덮어씌우기만 했다. 새 옷을 입혔을 뿐, 연결은 되지 않았다. 산업화 기업의 91%는 AI가 핵심 데이터에 직접 닿도록 내부 구조 자체를 바꾼다. 덮어씌우기는 초기 속도를 높여주지만, 기업 운영의 무게를 감당하지 못한다. 이것은 단순한 기술 부채가 아니다. 조직이 변화를 회피한 결과, 쌓인 조직 부채다.
거버넌스도 마찬가지다. 정체 기업에게 내부 승인 절차는 배포를 늦추는 검문소다. 산업화 기업은 이 통제를 플랫폼 안에 자동화해서 심어둔다. 그 결과 "가장 안전한 길이 가장 빠른 길"이 되는 구조가 만들어진다. 거버넌스를 장벽으로 경험하는 정체 기업 비율은 56%인 반면, 산업화 기업은 19%에 그친다. 통제의 강도가 아니라 통제의 설계 방식이 다른 것이다.
성공한 10%는 무엇이 다른가
보고서가 말하는 산업화 기업의 공통점은 다섯 가지다.
외부에는 인프라를, 내부에는 핵심 판단을. 외부 전문가와 협력하되, 업무 흐름 설계와 판단 기준은 내부가 소유한다. 도구를 산 것이 아니라 역량을 키운 것이다.
덮어씌우지 않고 다시 설계한다. 기존 시스템을 피해 가는 대신, 데이터가 흐르는 구조 자체를 바꾼다. 초기가 더 힘들지만, 각 변화가 다음 변화의 토대가 된다.
통제와 속도를 동시에 잡는다. 승인 절차를 자동화해서 운영 환경 안에 심는다. 안전한 경로가 곧 가장 빠른 경로가 되도록 만든다.
본사가 기준을 잡고, 현장이 혁신을 실행한다. 모든 것을 본사가 통제하거나, 반대로 각 부서가 제각각 움직이는 양극단을 피한다. 공통 표준은 중앙에서, 실제 활용은 현장에서.
출시 이후를 진짜 시작으로 본다. 정체 기업은 AI 시스템을 올린 날을 성공으로 선언한다. 산업화 기업에게 그날은 매일 점검하고 개선하는 운영의 시작이다.
성공적인 AI 전환은 외부의 공포에 떠밀려 시작되지 않는다는 점도 덧붙여야 한다. 산업화 기업의 81%에서 AI 투자를 이끄는 것은 현업 부서의 내부 수요다. 정체 기업은 51%, 관찰자는 37%다. 경영진의 선언만으로 AI가 산업화되지 않는다. 실제 업무를 가진 현업이 AI를 자신의 성과와 연결하고, 반복적으로 개선을 요구할 때 비로소 가치가 실현된다.
다음 전쟁터: AI 에이전트 시대의 착각
여기서 한 발 더 나가야 한다. AI 에이전트가 빠르게 일반화되면서, 많은 기업이 새로운 착각에 빠질 위험이 있다. "이제 AI는 그냥 사면 되는 것 아닌가"라는 생각이다.
틀리지 않았다. 오히려 그것이 맞는 방향이다.
전기를 직접 만드는 기업은 없다. ERP를 자체 개발하는 기업도 거의 없다. 삼성전자도 SAP를 쓴다. AI 에이전트의 기반 인프라 역시 클라우드가 그랬듯 빠르게 상품이 될 것이다. 어떤 AI 모델을 쓸지, 어떤 에이전트를 고를지는 머지않아 경쟁의 핵심 변수가 아니게 된다. 레고 블록처럼 필요한 모듈을 골라 조립하는 시대가 오고 있다. 사실 그 입구에는 이미 와 있다.
그런데 바로 여기에 함정이 있다.
에이전트 자체는 상품이 된다. 그러나 그 에이전트가 접근하는 데이터, 그 에이전트가 따르는 업무 로직, 그 에이전트가 최적화하는 성과 기준은 회사마다 다르다. 그것은 외주를 줄 수 없다. 외주를 주는 순간, 경쟁력도 함께 넘어간다.
단위 업무별 자동화 앱, 보고서를 편리하게 작성해주는 도구들. 지금 많은 조직에서 이런 것들이 만들어지고 있다. 가치 없다는 게 아니다. 그러나 그 가치의 유효기간이 급격히 짧아지고 있다. 도구 하나를 만드는 데 몇 주가 걸리던 일을 AI가 하루 안에 해주는 시대가 이미 오고 있기 때문이다.
"특정 앱을 만드는 능력"은 곧 경쟁력이 아니게 된다. 그것보다 훨씬 오래, 훨씬 깊이 남는 것이 있다.
그렇다면 지금 진짜 필요한 것은 무엇인가
발굴에서 심사, 투자, 사후관리까지 이어지는 전체 업무 흐름을 AI로 어떻게 연결할지를 설계하는 능력이다. 어떤 데이터를 어디서 만들고, 어떻게 흐르게 하고, 어떤 판단에 쓸 것인지를 그리는 능력이다. 이것은 AI 기술의 문제가 아니다. 도메인을 깊이 아는 사람만이 할 수 있는 일이다.
지금 많은 조직이 AI 기술을 더 잘 다루는 사람을 찾는다. 그러나 정작 필요한 사람은 따로 있다. AI가 연결해야 할 업무의 전체 그림을 그릴 수 있는 사람. 기술이 아니라 구조를 설계하는 사람.
AI를 프로젝트로 관리하면 가치가 새고, 기업 역량으로 엔지니어링하면 누적된다. 그 누적이, 에이전트가 일반화된 세상에서 유일하게 남는 경쟁력이 된다.
지금 필요한 것은 AI 기술의 향상이 아니다. AI로 무엇을 연결할지를 설계하는 일이다.
당신의 회사는 AI 도구를 도입한 회사인가. 아니면 AI로 연결된 회사인가.
**이 글은 2025년 12월 Roland Berger가 발표한 "AI Value Gap"이라는 리포트를 기반으로 작성한 것입니다.
