AI, 실험을 넘어 확장으로
McKinsey의 최신 보고서
요즘은 누구나 AI를 씁니다. 회의록 정리도 AI, 보고서 초안도 AI, 메일 작성도 AI가 도와줍니다. 하지만 실제로 AI를 잘 활용한 기업들이 더 돈을 잘 벌게 되고 더 큰 성장을 만들었을까요? McKinsey의 최신 보고서 “The State of AI in 2025”를 보면, AI를 쓴다는 것과 AI를 통해 '진짜 성과'를 만들어 내는 것은 완전히 다른 이야기라는 점을 알 수 있습니다. 그래서 오늘은 이 보고서에서 던지는 핵심 메시지를, 일반적인 업무 중심으로 좀 더 친근하게 풀어보았습니다.
AI, 쓰기만 해서는 부족하다
전체 응답자의 88%가 이미 업무에서 AI를 ‘정기적으로’ 사용하고 있다고 답했습니다. 메일 요약, 문서 초안 작성, 데이터 정리처럼 AI가 일상적인 사무 업무에 자리 잡은 것은 이제 특별한 일이 아닙니다. 하지만 보고서를 자세히 들여다보면 중요한 사실이 드러납니다. 이렇게 AI를 사용하고 있다고 말하는 조직들 중, 실제로 AI를 ‘전사적 수준으로 확장해 활용한다’고 평가된 조직은 겨우 3분의 1에 불과했습니다. 즉, 조직 내부에서 AI를 ‘써보는 것’과, AI가 회사의 운영 방식과 성과 구조에 실제로 녹아드는 것은 완전히 다른 차원의 이야기라는 뜻입니다. 많은 조직이 문서 작성을 빠르게 하거나 단순 반복 업무를 자동화하는 수준에서 AI를 실험적으로 사용하고 있지만, 그 결과가 업무 방식의 구조적 변화로 이어지는 경우는 드물다는 것입니다. 사무 환경을 예로 들어보면 상황이 더 명확해집니다. 요즘은 누구나 “보고서 초안은 AI로 뽑아요”, “데이터 집계는 AI 툴이 자동으로 해줘요”라고 말합니다. 이런 사례는 더 이상 혁신이라 부르기 어려울 정도로 흔해졌습니다. 하지만 AI가 팀 간 협업 방식에 실제 변화를 만들거나, 목표 설정 및 성과 관리 체계에 반영되거나, 부서 간 프로세스를 재구성하는 수준으로 업무 전체를 재설계하는 역할을 하고 있느냐고 묻는다면, 그렇다고 답할 수 있는 조직은 많지 않습니다. 결국 지금의 AI 활용은 ‘작업 보조’ 수준에서 멈춰 있는 경우가 많으며, AI가 조직의 의사결정 흐름, 업무 방식, 목표 달성 구조에 깊숙이 들어가는 단계까지는 아직 큰 격차가 존재하고 있습니다. 맥킨지 보고서가 말하는 핵심도 바로 이 지점입니다. AI 도입은 쉽게 퍼졌지만, AI 확장은 여전히 소수 조직만의 이야기라는 것이죠.
다음 흐름은 ‘에이전트형 AI’
보고서에서 특히 강조한 개념이 바로 Agentic AI(에이전트형 AI)입니다. 최근 1~2년 사이 생성형 AI가 폭발적으로 확산되면서, 많은 조직이 “AI를 활용한다”는 말은 쉽게 하고 있지만, 실제로는 대부분이 질문에 답변하는 챗봇 수준에서 머무르고 있습니다. 그러나 맥킨지가 주목한 에이전트형 AI는 그보다 훨씬 다른 차원의 기술을 의미합니다. 조사에 따르면 응답자의
62%는 이미 에이전트형 AI를 ‘실험 중’이며,
23%는 특정 기능이나 부서 내에서 ‘확장 단계’에 진입했다고 답했습니다.
즉, 적지 않은 조직이 단순 생성형 AI 활용을 넘어 업무 프로세스 안으로 AI를 직접 투입하는 실험을 시작했다는 뜻입니다. 에이전트형 AI는 우리가 흔히 알고 있는 “질문하면 답변해 주는 AI”와 전혀 다른 개념입니다. 이 AI는 스스로 계획을 세우고 여러 단계를 연속적으로 실행하는 능력을 갖추고 있습니다. 말 그대로 ‘업무를 대신 수행하는 AI’라고 할 수 있습니다. 일반 사무 환경을 예로 들면 더 쉽게 이해할 수 있습니다. 에이전트형 AI는 다음과 같은 과정을 인간의 개입 없이 하나의 흐름으로 처리할 수 있습니다.
여러 부서에서 들어온 자료를 자동으로 수집하고
서로 다른 형식의 데이터를 요구 포맷에 맞게 정리하며
보고서나 이메일 초안을 작성하고
심지어 그 문서를 관련 부서에 자동으로 전달하거나
승인·결재 프로세스를 트리거하여 다음 단계로 연결하기까지
이 정도면 단순한 “도구”가 아니라, 실제로 팀 내에서 한 명의 ‘업무 대행 직원’처럼 움직이는 셈입니다. 하지만 중요한 사실도 있습니다. 맥킨지 조사에서 확인된 바로는, 이런 에이전트형 AI를 여러 부서나 여러 기능 전체로 확장한 조직은 10% 미만이었습니다. 즉, 많은 조직이 에이전트형 AI의 잠재력은 인지하고 있고 실험도 하고 있지만, 실제로 전사적인 운영 구조로 자리 잡기까지는 아직 넘어야 할 장벽이 많습니다. 기술적 제약, 정확도 문제가 있을 수도 있고, 조직의 업무 방식 자체가 AI 중심으로 재설계되지 않았을 수도 있습니다. 그래서 지금은 ‘가능성 단계’와 ‘초기 확장 단계’ 사이 어딘가에 머물러 있는 조직이 대부분입니다. 이 말은 곧, 에이전트형 AI는 이미 시작되었지만 아직 개척되지 않은 영역이 훨씬 더 많다는 뜻이며, 앞으로의 업무 방식 변화에서 매우 중요한 전환점이 될 가능성이 높습니다.
성과는 있었지만, 성장은 제한적
AI를 도입한 조직들은 대부분 일정 수준의 효과를 경험했다고 답했습니다. 예를 들어 부서 단위에서는
반복 업무 자동화로 인한 비용 절감,
사람 손으로 처리할 때 발생하던 실수 감소,
회의록·보고서 작성 시간의 획기적 단축,
일상 업무의 전반적 생산성 향상
같은 긍정적 결과가 이미 광범위하게 보고되고 있습니다. 이런 변화는 실제 현장에서 바로 체감되는 부분이기 때문에 AI의 즉각적인 효용을 설명할 때 자주 언급됩니다. 하지만 맥킨지 보고서는 여기서 한 걸음 더 나아가 중요한 질문을 던집니다. “이러한 성과가 회사의 매출과 성장에도 실제로 도움이 되었는가?”란 질문인데요. 조사에 따르면, AI 덕분에 회사 전체 영업이익이 눈에 띄게 좋아졌다고 말한 조직은 39%에 불과했습니다. 게다가 그중 대부분도 실제 개선 폭은 크지 않아, AI로 얻은 이익이 전체의 5%에도 못 미친다고 답했습니다. 그렇다면 AI로 실제 성장을 만들어낸 조직은 어땠을까요? 보고서에서는 성과가 뛰어난 조직(High Performers)에 공통적으로 나타나는 두 가지 특징을 확인할 수 있습니다.
첫째, 이들은 AI를 단순히 비용 절감 도구로만 보지 않았습니다. 오히려 새로운 성장 기회, 업무 혁신, 고객 만족도 향상, 의사결정 고도화 같은 더 크고 전략적인 목표를 중심으로 AI를 활용했습니다. 즉, 절약보다 ‘확장’을 우선순위에 둔 것입니다.
둘째, 이들은 기존 업무 프로세스를 그대로 유지한 채 AI를 덧붙이지 않았습니다. 반대로,
업무 흐름을 어떻게 바꿔야 AI가 제대로 작동하는지,
어떤 단계에서 AI가 중심 역할을 해야 하는지,
사람과 AI의 역할을 어떻게 재정의해야 하는지를 전면적으로 다시 설계했습니다.
이런 방식은 더 많은 초기 비용과 노력이 들지만, 결과적으로 조직 전체의 성과를 바꾸는 데 훨씬 큰 영향을 미쳤습니다. 즉, 보고서가 말하고자 하는 핵심은 매우 명확합니다. “일하는 방식을 바꿔야 한다.”는 것입니다. AI를 단순히 도입하는 것만으로는 전사적 성과를 만들기 어렵습니다. AI가 중심이 되는 새로운 업무 구조를 설계해야만 비로소 조직 전체가 AI의 가치를 ‘진짜로’ 경험하게 되는 것입니다.
도입을 넘어 변화로
McKinsey의 보고서는 ‘AI를 사용하는 조직’과 ‘AI로 움직이는 조직’ 사이의 간극을 은근하면서도 명확하게 보여줍니다. 오늘날 누구나 AI를 씁니다. 하지만 그 AI가 조직의 의사결정 흐름을 바꾸고, 일하는 방식과 성과 구조를 다시 짜는 수준으로 자리 잡았느냐고 묻는다면—그 질문에 자신 있게 “그렇다”라고 답할 수 있는 조직은 아직 많지 않습니다. 앞으로 중요한 축은 세 가지일 것 같습니다. 업무를 스스로 실행하는 에이전트형 AI, 기존 방식을 그대로 둔 채 AI를 얹는 것이 아닌 업무 자체의 재설계, 그리고 비용 절감이 아닌 성장을 중심에 둔 전략. 이 세 가지가 AI의 가능성을 ‘도구의 편리함’에서 ‘조직의 변화’로 끌어올리는 핵심이 될 것 같네요.
McKinsey의 보고서 링크: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
