생성형 AI(GenAI) 격차
기업의 95%가 실패하는 진짜 원인과 돌파법
MIT NANDA 2025 보고서가 말해 준 사실과, 현장에서 바로 쓰는 30-60-90 실행 로드맵
생성형 AI(GenAI)는 이미 모든 이들의 화두입니다. 그러나 대규모 투자 대비 성과는 극소수에게만 돌아가고 있습니다. MIT NANDA의 2025년 분석에 따르면, 기업들이 수십억 달러를 투입했지만 95%는 금전적 성과가 없고 5%만이 통합형 파일럿에서 실질 가치를 추출하고 있습니다. 왜 그럴까요? 그리고 우리는 무엇을 해야 할까요?
1) 분석 방법과 범위
2025년 1–6월 수집: 공개 AI 도입 300+건 체계적 검토, 52개 조직 인터뷰, 경영진 153명 설문 기반
목표: “높은 도입, 낮은 변혁”의 원인을 규명하고, 운영 확장에 성공하는 조직의 공통 전략을 도출
<더 알아보기: 기업 내 GenAI에 관한 다섯 가지 신화>
1. AI는 향후 '몇 년 안에 대부분의' 일자리를 대체할 것이다
연구 결과에 따르면, 생성형 AI로 인한 해고는 제한적이며 이미 AI의 영향을 크게 받고 있는 산업에서만 나타났습니다. 향후 3~5년 동안의 고용 수준에 대해서도 경영진 사이에 합의가 없습니다. 조금 더 지켜봐야 하는 상황입니다.
2. 생성형 AI는 '이미' 비즈니스를 변혁하고 있다
도입률은 높지만 실제 변혁은 드뭅니다. 기업 중 단 5%만이 AI 도구를 워크플로우에 대규모로 통합했으며, 9개 산업 중 7개에서는 구조적 변화가 거의 나타나지 않았습니다.
3. 기업은 새로운 기술을 '채택하는 데 느리다'
사실 기업들은 AI 도입에 매우 적극적입니다. 90%의 기업이 AI 솔루션 구매를 진지하게 검토한 경험이 있습니다.
4. AI 확산을 가로막는 가장 큰 요인은 '모델 품질, 법적 문제, 데이터, 리스크다'
실제로는 대부분의 AI 도구가 학습을 지속하지 못하고 워크플로우에 잘 통합되지 못하는 것이 가장 큰 장애 요인입니다.
5. 최고의 기업들은 자체 AI 도구를 구축한다
내부적으로 개발한 AI 프로젝트는 외부 솔루션 도입보다 두 배 더 자주 실패하는 것으로 나타났습니다.
2) 핵심 진단: 높은 도입, 낮은 변혁입니다
파일럿은 많지만 운영 전환은 희소합니다. 기업용(맞춤/벤더) 솔루션은 평가 60% → 파일럿 20% → 운영 5%의 급경사를 보입니다.
산업별로도 격차가 분명합니다. 뚜렷한 구조 변화를 보인 곳은 8대 섹터 중 2개(테크·미디어/통신)뿐이며 나머지는 실질 변혁이 제한적입니다.
왜? 인프라·규제보다 “학습 격차(learning gap)”, 즉 기억·적응·지속 학습이 안 되는 도구 탓입니다.
<더 생각해보기: 왜 Gen AI 격차가 발생하나?>
‘GenAI 격차(GenAI Divide)’는 대규모 투자가 이어졌지만 변혁은 제한적으로만 나타나는 현상을 의미합니다. 주요 원인으로는 ▲산업별 구조적 변화 부족, ▲대기업의 파일럿 과잉과 확장 실패, ▲매출 부문에 치우친 투자, ▲내부 개발보다 외부 파트너십이 더 높은 성공률을 보이는 실행 우위가 꼽혔습니다.
특히 학습 격차(learning gap)를 핵심 문제로 지적합니다. 현재 대부분의 AI 시스템은 피드백을 기억하지 못하고 맥락 이해에도 한계가 있어 시간이 지나도 개선되지 않습니다. 사용자가 기대하는 지속적 학습과는 거리가 먼 셈입니다.
3) 파일럿이 멈추는 지점: ‘학습 격차’입니다
현업이 원하는 것은 “한 번 써보고 끝나는 보조도구”가 아니라, 피드백을 기억하고 문맥에 적응하며 시간이 지날수록 개선되는 시스템입니다.
일반 LLM은 초안·요약 같은 단거리 작업엔 유용하지만, 복잡·장기 과업에선 메모리·적응 부재로 신뢰를 잃습니다.
그 결과, 범용 LLM은 “채택”은 쉽지만 핵심 워크플로우로 들어가는 순간 성능이 꺾이고, 운영 전환에서 이탈합니다.
4) 그림자 AI(Shadow AI): 직원은 이미 격차를 넘고 있습니다
공식 프로젝트가 고전하는 사이, 직원 개인 계정의 LLM 사용은 일상화되었습니다.
LLM 정식 구독 보유 기업 40% vs 직원 측 정기적 개인 사용 90%+라는 뚜렷한 괴리가 관찰됩니다.
선도 조직은 이 비공식 성공 패턴을 관찰해 “무엇이 실제로 먹히는가”를 파악하고, 정식 조달·배포의 우선순위를 잡습니다.
역설적이게도 이러한 비공식적 사용이 실제로 가장 혁신적인 사례를 만들어내고 있음
5) 투자 편향과 진짜 ROI: 프런트보다 백오피스입니다
예산은 주로 영업·마케팅(대략 절반~70%)에 쏠리지만, 백오피스 자동화(문서·조달·재무·리스크·고객지원)에서 더 뚜렷한 비용 절감과 빠른 회수가 나옵니다.
경영진 보고 지표가 눈에 잘 띄는 곳에 돈이 가지만(가시성 편향), 진짜 남는 곳은 내부 효율·외주비 절감입니다.
문서 처리나 외부 계약 비용 절감을 통해 30% 이상의 비용 절감 효과를 본 사례도 있습니다.
예컨대 한 글로벌 금융 서비스 기업은 기존에 외부 용역 회사에 의존하던 문서 처리와 계약 검토 업무를 GenAI 기반 자동화 시스템으로 전환했습니다. 이 시스템은 계약 문서를 자동으로 분류하고, 누락된 조항이나 리스크 요소를 표시해 주는 기능을 갖추었는데, 이를 통해 과거에는 수일이 걸리던 작업을 단 몇 시간 만에 처리할 수 있게 되었습니다.
특히 중요한 점은 단순히 속도가 빨라진 것이 아니라, 외주 계약 자체를 줄일 수 있었다는 것입니다. 이전에는 문서 검토를 위해 외부 로펌이나 전문 서비스 업체에 연간 수백만 달러를 지출했지만, GenAI 도입 이후 내부 검토 프로세스로 상당 부분을 대체하면서 30% 이상 비용을 절감했습니다. 이 절감분은 단순 비용 절감 효과에 그치지 않고, 기업의 재무 건전성과 협상력 강화로 이어졌습니다. 외부 의존도가 낮아지자 기업 내부의 데이터 보안 수준도 크게 향상되었으며, 민감한 계약 정보가 외부로 흘러나가는 위험도 줄었습니다.
<더 알아보기: ROI 관점에서 바라보기>
진정한 ROI가 존재하는 곳: 분열을 넘어
GenAI Divide(격차)를 넘어선 조직들은 ROI가 종종 무시된 운영 및 재무 부문에서 가장 크게 나타난다는 사실을 발견합니다. 실제 성과는 내부 직원을 감축하는 것이 아니라 BPO와 외부 에이전시를 대체하는 데서 나옵니다. 전방 부서 도구가 주목받지만, 후방 부서 도구가 더 큰 비용 절감을 제공합니다.
AI 예산의 50%가 영업과 마케팅에 투입되고 있음에도(경영진을 대상으로 한 추정치 기준), 가장 극적인 비용 절감 사례는 후방 사무 자동화에서 기록되었습니다. 전방 부문의 성과는 눈에 잘 보이고 이사회 설득에 유리하지만, 후방 부문 배치는 더 빠른 투자 회수 기간과 더 명확한 비용 절감을 이끌었습니다.
최고 수준의 조직들은 두 영역 모두에서 가시적인 가치를 창출하고 있습니다.
전방 부문 성과
• 리드(잠재고객) 판별 속도: 40% 향상
• 고객 유지율: AI 기반 후속 조치와 메시징을 통해 10% 개선
후방 부문 성과
• BPO 제거: 고객 서비스 및 문서 처리에서 연간 200만~1,000만 달러 절감
• 에이전시 지출 절감: 외부 크리에이티브 및 콘텐츠 비용 30% 감소
• 금융 서비스 리스크 검증: 외부 리스크 관리 아웃소싱 비용 절감으로 연간 100만 달러 절약
주목할 점은, 이러한 성과가 인력 구조 축소 없이 이루어졌다는 사실입니다. 도구가 업무 속도를 높였지만 팀 구조나 예산에는 변화를 주지 않았습니다. 대신 ROI는 외부 지출 감소, BPO 계약 철회, 에이전시 비용 축소, 고가의 컨설턴트를 AI 기반 내부 역량으로 대체하는 데서 발생했습니다.
이 패턴은 영업과 마케팅이 대부분의 관심과 투자를 받는 반면, 후방 사무 자동화가 눈에 덜 띄더라도 더 극적이고 지속 가능한 수익을 제공할 수 있음을 시사합니다. 즉, 명백한 활용 사례를 넘어 진정으로 GenAI Divide를 넘으려는 조직에게 후방 사무 부문이 더 큰 기회가 될 수 있습니다.
6) 성공 조직의 공통점: ‘구축(build)’보다 파트너십(buy)입니다
외부 파트너십은 내부 구축 대비 성공률이 약 2배입니다. “기능 스펙”보다 운영 성과(KPI)와 워크플로우 적합성으로 벤더를 평가할 때 성과가 뚜렷합니다.
조직 규모 효과도 중요합니다. 중견기업은 파일럿→운영 전환을 평균 90일에 해내지만, 대기업은 9개월+이 걸립니다.
7) 30-60-90 실행 로드맵(현장 적용형)입니다
Day 0–30: 문제 탐지 & 가드레일 설정
Shadow AI 감사: 10개 팀 인터뷰·설문·브라우저 로그로 “현장에서 이미 성공한 LLM 활용”을 수집합니다.
데이터 경계·보안 정책: 프롬프트·출력 민감도, 레드팀 체크리스트, 접근·감사 추적을 명문화합니다.
후보 워크플로우 6선: 프런트 2(리드 자격·콜 요약), 백오피스 4(계약·양식 문서화, AP/AR, 조달 분류, 리스크 룰체크)
Day 31–60: “좁고 비싼” 파일럿 3건
SLO 정의: 정확도/처리시간/재작업률/채택률/외주대체율
저설정-고가치 카테고리부터(문서 자동화·콜 요약·AP/AR)
현장 소유권: 라인 매니저가 문제·도구·지표를 소유(중앙은 보안·가드레일·승인만)
Day 61–90: 운영 전환 & 수평 확장
3개 중 1–2개를 운영 승격, P&L 반영(실제 청구·계약 데이터로 검증)
확장: 같은 데이터·승인 체계를 공유하는 옆 공정으로 범위를 넓힙니다.
실패 파일럿은 원인·교훈을 문서화 후 종료(스택에 부담을 남기지 않습니다).
8) 벤더 선정 체크리스트(계약에 반영)
SLO 보증: 정확도·처리시간·가용성 미달 시 크레딧
데이터 경계: 고객 데이터 분리·모델 미학습·삭제권
학습 성과 공유: 피드백 반영 후 지표 개선폭을 기준으로 보상/패널티
가역성: 교체 시 프롬프트·룰·워크플로우·로그 이관 지원
통합성: SSO·감사 추적·역할권한(RBAC)·MCP/A2A 연계 옵션
9) 파일럿 설계 템플릿(현장용)
업무 정의: 입력(문서/콜/티켓)–처리(요약/분류/검증)–출력(승인/등록)
정답 근거: 정책·규정·샘플 100건. 품질 판정 기준을 미리 템플릿화
안전장치: 고위험 케이스는 휴먼-인-더-루프(HITL)와 에스컬레이션 룰
학습 루프: 오판례 리포트→룰·프롬프트·도구 체인 업데이트→A/B 재평가
퇴로 설계: 롤백·캐시·수동 절차의 즉시 전환 경로를 문서화
10) 흔한 함정(안티 패턴)과 회피법
데모-드리븐 구매: 화려한 데모, 낮은 운영 적합성 → 현장 데이터로 POC
중앙 통제 과잉: 승인 지연·현장 이탈 → 분권 실행+경영진 책임
지표 부재: “좋아 보인다” → SLO·비용절감·재작업률을 숫자로 고정
내부 구축 집착: 재사용성 낮은 도구 난립 → 주요 공정만 내부화, 나머진 파트너십(외부의 성공률이 2배)
11) 다음 12–18개월: 에이전트와 프로토콜의 시대
학습·메모리·적응을 갖춘 시스템이 운영 전환의 사망곡선을 넘깁니다.
기업은 외주비 절감·고객 유지율 개선 등 백오피스·프런트 양측의 가시적 성과를 보고합니다.
중견 90일 vs 대기업 9개월+의 속도 격차를 염두에 두고, 초기에 작고 비싼 워크플로우로 “빠른 승리”를 설계합니다.
12) 현장 FAQ
Q. 인력 감축이 필수인가요?
A. 아닙니다. 보고서에서도 광범위한 감축이 아니라 외주·에이전시 비용 절감이 먼저 관찰됩니다.
Q. 우리 업종은 아직 변혁이 약한데요?
A. 그럴수록 백오피스에서 시작하십시오. 문서·조달·재무는 ROI가 빠르게 드러나는 영역입니다.
Q. 우리도 내부 구축으로 모듈을 만들 수 있나요?
A. 가능합니다. 다만 운영 전환 성공률은 외부 파트너십이 약 2배 높습니다. 내부 구축은 핵심 공정·데이터 지배력이 분명한 곳에 한정하는 것이 안전합니다.
맺음말: “생성”에서 “학습”으로, “구축”에서 “구매”로, “중앙”에서 “현장”으로
GenAI 격차는 학습하지 않는 시스템과 현장과 동떨어진 도입 방식이 만든 결과입니다.
이제는 구축보다 구매(파트너십 중심), 중앙보다 현장(라인 매니저 소유), 생성보다 학습(메모리·적응·지속 개선)으로 전환해야 합니다.
자체 개발보다 외부 파트너십을 통한 맞춤형 도구 도입이 성공률을 두 배 높입니다.
중앙 연구소가 아니라 현장 관리자가 문제를 정의하고 도구를 선택하도록 권한을 주는 것이 효과적입니다.
단순 생성이 아니라 피드백을 기억하고 개선하는 학습형 AI를 채택해야 합니다.
그리고 90일 안에 작고 비싼 워크플로우에서 수치로 말하는 빠른 승리를 만들면, 여러분의 조직도 “5%”로 이동할 수 있을 것입니다.
<더 생각해보기: GenAI 격차를 넘어서기>
GenAI Divide(격차)를 성공적으로 넘어선 조직들은 세 가지를 다르게 합니다. 직접 구축하기보다 구매하고, 중앙 연구소가 아닌 현업 관리자에게 권한을 주며, 시간이 지나면서 적응할 수 있는 깊이 통합된 도구를 선택하는 것입니다. 가장 앞서가는 조직들은 이미 정해진 범위 내에서 학습하고, 기억하며, 자율적으로 행동할 수 있는 에이전틱(agentic) 시스템을 실험하고 있습니다.
이 전환은 단순한 도구 교체가 아니라, 에이전틱 웹(Agentic Web)의 등장을 의미합니다. 이는 벤더, 도메인, 인터페이스를 넘어 협력하는 학습 시스템들의 지속적이고 상호 연결된 계층입니다. 현재 기업의 기술 스택이 사일로화된 SaaS 도구와 정적인 워크플로우로 정의된다면, 에이전틱 웹은 이를 대체하여 업무를 협상하고, 맥락을 공유하며, 조직 전반에 걸쳐 행동을 조율하는 동적 에이전트로 전환시킵니다.
원래의 웹(Web)이 출판과 상거래를 탈중앙화했듯, 에이전틱 웹은 실행을 탈중앙화합니다. 이는 단순한 프롬프트 기반 실행에서 벗어나, 자율적이고 프로토콜 기반의 조정으로 이동하는 것입니다. NANDA, MCP, A2A와 같은 시스템들은 이 새로운 웹의 초기 인프라를 대표하며, 조직들이 코드를 작성하는 대신 에이전트의 역량과 상호작용을 통해 워크플로우를 구성할 수 있게 합니다. 기업들이 2026년까지 벤더 관계와 피드백 루프를 고착화해 가면서, GenAI Divide를 넘을 수 있는 기회의 창은 빠르게 좁아지고 있습니다. 다음 단계의 도입 경쟁은 가장 화려한 모델이 아니라, 학습하고 기억할 수 있는 시스템 또는 특정 프로세스에 맞춰 제작된 맞춤형 시스템이 차지할 것입니다.
직접 구축에서 구매로의 전환, 프로슈머(prosumer) 채택의 확산, 에이전틱 역량의 등장이 결합되면서, 학습 능력을 갖추고 깊이 통합된 AI 시스템을 제공할 수 있는 벤더에게 전례 없는 기회가 열리고 있습니다. 이러한 패턴을 인식하고 행동에 옮기는 조직과 벤더들이 파일럿 단계를 넘어선 AI 경제(Post-pilot AI Economy)에서 지배적 위치를 확보할 것입니다.
반대로 아직도 잘못된 쪽에 갇혀 있는 조직들에게 길은 분명합니다. 지속적인 프롬프트 입력을 요구하는 정적인 도구에 투자하는 것을 멈추고, 맞춤형 시스템을 제공하는 벤더와 협력하며, 화려한 시연보다 워크플로우 통합에 집중해야 합니다. GenAI Divide는 영구적인 것이 아니지만, 이를 넘어서기 위해서는 기술, 파트너십, 조직 설계에 대한 근본적으로 다른 선택이 필요합니다.
출처
MIT NANDA, The GenAI Divide: State of AI in Business 2025, Jul 2025.
https://www.artificialintelligence-news.com/wp-content/uploads/2025/08/ai_report_2025.pdf
