GenAI, 서베이로 알아본 기업들의 솔직한 마음

AI는 빅뱅이었다. 그러나 기업들이 진짜 걱정하는 건 따로 있다.

알파벳(前 Google) CEO 순다르 피차이(Sundar Pichai)는 “AI는 인류가 지금까지 이룩한 가장 심오한 기술이라고 늘 생각해 왔습니다… 불이나 전기, 그 어떤 것보다 심오하죠”라고 말했습니다. 그의 말처럼, AI는 단순한 기술을 넘어 업무의 판을 흔들고 있습니다. 그렇다고 모든 기업이 “혁신의 로켓”을 타고 날고 있는 건 아닙니다. 오히려 지금은, 제대로 이륙도 못 한 채 활주로에서 헤매는 곳이 더 많습니다.

2025년을 맞아 McKinsey, Deloitte, HPE, KPMG, NTT Data등에서 발간한 8개의 글로벌 Survey 보고서를 보면, GenAI도입에 적극적인 기업조차도 여전히 ‘예상 밖의 벽’에 부딪히고 있습니다. “기술은 문제 없다. 사람과 조직이 문제다.”라는 말이 더는 회의실 농담이 아닌 현실이 되고 있죠.

그럼 기업들이 진짜 겪고 있는 문제는 무엇일까요?

.

대박일 거라는 굳건한 믿음 대비 초라한 ROI

기업들이 AI에 평균 1억 1,400만 달러(약 1,500억 원)를 투자할 계획이라는데, 대부분의 C-레벨 임원들은 "아직 큰 수익은 못 봤어요"라고 답했습니다 . AI 도입 후 매출이 5% 이상 증가했다고 답한 임원은 20% 미만이고 80% 이상은 “아직 잘 모르겠다”고 답하면서도 임원의 93%는 GenAI 투자가 경쟁력을 향상시켰다고 동의했다고 합니다. 수익은 없는데 경쟁력은 올랐다? 이게 무슨 양자역학입니까? 더 재미있는 건, 기업들이 생산성 22.6% 증가, 수익 15.8% 증가를 예상하면서, 2/3는 향후 2년 내 상당한 투자를 계획하고 있다는 겁니다. 지금은 돈을 못 벌고 있으면서 미래에는 대박 날 거라고 믿는 이 긍정의 힘, 한국인이 암호화폐를 보는 시각이 연상됩니다.

▷ GenAI 투자 현황 및 계획

GenAI에 대한 투자에 대하여 2,307명에게 질의한 결과, 현재 79%, 향후 2년 내 85%가 상당한 투자를 할 계획이라고 답함, NTT Data

직원들은 이미 AI 마스터, 정작 문제는 임원들

C레벨 임원들은 “우리 직원들이 AI를 못 써서 문제야”라고 생각하고 있지만 실제 직원들은 AI를 훨씬 더 잘 쓰고 있었습니다. 임원들은 직원들의 단 4%만이 일상 업무의 30% 이상에 GenAI를 사용한다고 답변했지만, 실제 직원들에 따르면 그 비율은 3배나 높은 13%에 달했습니다. 향후 1년 내 일상 업무의 30% 이상에 GenAI를 활용할 임직원 비율에 대해서도 임원들은 20%, 직원들은 47%라고 응답했고요. 

▷ GenAI 활용도에 관한 임원과 직원의 인식 차이

GenAI를 업무에 30%이상 활용하고 있는 임직원 비율에 대해 질의한 결과, 일반 임직원 대비 C레벨 임원진이 훨씬 부정적으로 답변함, McKinsey

아이러니하게도 직원들의 2/3는 자신들이 GenAI를 다룰 기술이 부족하다고 인정하고 48%가 공식 교육을 원하고 있었지만 60%의 조직이 직원 교육이나 역량강화에 무심했습니다.

"AI 쓰세요!" "어떻게요?" "알아서 하세요!" 이런 상황.

기술의 두 얼굴: ‘빠른데… 왜 느리다고?’

GenAI 기술은 놀라운 속도로 발전하고 있습니다. 마치 K팝 아이돌 신곡 주기처럼 6개월마다 새로운 혁신이 등장할 정도죠. 하지만 이러한 기술 발전 속도와는 달리, 기업 내부의 변화는 더디다는 인식이 있었습니다.

데이터, 아직 멀었니?

AI 시대에 데이터가 중요하다는 건 이제 상식이죠. 하지만 실제 현실은 꽤 씁쓸합니다.

최근 조사에 따르면, 44%의 기업이 데이터 이동 시스템조차 제대로 갖추지 못했고, 41%는 부정확하고 일관성 없는 데이터 때문에 매일 전쟁을 치르고 있어요. 실시간 데이터 처리가 가능한 기업은 놀랍게도 7%뿐이고, 고급 분석 역량을 갖춘 곳도 26%에 그쳤습니다.

결국 "Garbage in, garbage out"이라는 오래된 IT 격언이 여전히 유효한 셈이죠. 아무리 화려한 AI 솔루션을 도입해도 기초 데이터가 엉망이면 결과는 뻔합니다. 마치 미슐랭 셰프에게 상한 재료를 주고 맛있는 요리를 기대하는 것과 같달까요. 데이터 품질 없이는 AI도 그저 비싼 장식품일 뿐입니다.

레거시 인프라, 발목을 잡다.

응답자의 90%가 "우리 회사 레거시 시스템이 AI 발목을 잡고 있다"고 토로했습니다. GenAI를 기존 시스템에 제대로 통합할 역량을 갖췄다고 자신하는 기업은 고작 45%뿐이었고요.

마치 구형 스마트폰에 최신 게임 깔려고 하는 격이죠. 이래서 기술 공급업체의 역할이 더욱 중요해지는 것 같습니다.

클라우드가 좋은 건 알지만…

C-레벨 임원 96%가 "클라우드가 GenAI의 Best friend"라고 인정했습니다. 가장 실용적이고 비용 효율적인 방법이라는 거죠. 하지만 실제로 클라우드에서 GenAI를 효율적으로 확장할 최적의 인프라를 구축한 기업은 44%에 불과했습니다. 말은 쉽지만 실행은 어렵지요.

더 웃긴 건, GenAI 전략과 IT 인프라 전략이 완전히 일치한다고 답한 비율이 49%뿐이라는 점입니다.

Risk는 알겠는데, 대책은 몰라

GenAI 도입을 가로막는 가장 큰 장애물이 뭘까요? 인재 부족? 기술 역량? 아니요. 정답은 바로 “규제 불확실성과 Risk 관리 문제”입니다. 마치 아직 교통법규는 없지만 사고 나면 책임져야 하는 자율주행차 같은 상황이네요.

응답자의 75%는 GenAI목표와 자사의 지속가능성 목표 사이에 갈등이 존재한다고 응답했지만, 82%가 정부의 AI 규제가 불명확하다고 했습니다. 또한 자사 조직이 기술 인프라와 전략은 개선했다고 평가했지만, Risk 관리나 거버넌스, 인재 확보 분야에서는 개선이 없었다고 답했습니다.

더 흥미로운 건, C-레벨 임원 중 오직 17%만이 AI 시스템 벤치마킹 시 윤리 및 규제 준수를 최우선으로 고려한다고 밝혔다는 점입니다. AI 규정 준수 전문가나(13%) AI 윤리 전문가(6%)를 고용하는 경우도 극히 드뭅니다. 대다수는 여전히 운영 및 성능 지표에 더 집중하고 있어요.

이는 86%의 기업이 알고리즘 편향 문제에 동의함에도 불구하고, 단 43%만이 편향 및 개인정보 위험을 추적하는 시스템을 갖추고 있다는 사실과도 연결됩니다.

결국 빠르고 정확하면 장땡이라는 마인드가 아직 주류인 것 같습니다.

CISO(Chief Information Security Officer)의 비명

흥분과 낙관주의가 지배적인 가운데에도 CISO들은 예외입니다. 45%의 CISO가 GenAI에 대해 ‘압박감, 위협, 압도감’ 같은 부정적인 감정을 표출했습니다. 이는 전체 응답자의 19%만이 같은 감정을 느끼는 것과 대비됩니다.

▷ GenAI에 대한 감정: 일반 임직원 vs. CISOs

NTT Data, Global GenAI Report: How organizations are mastering their GenAI destiny in 2025

보안보다 더 무서운 건 설명 불가

3명 중 1명의 CISO는 일부 GenAI 모델의 "블랙 박스" 특성과 불분명한 의사결정 알고리즘에 대해 불편함을 느낍니다. 또한 거의 절반의 데이터 책임자(Chief Data Officers)는 투명성이 부족하고 답변 근거가 불명확한 데 어려움을 토로합니다. 78%의 조직은 Agentic AI의 결정을 항상 신뢰하지는 못하겠다고 합니다.

그런데도 응답자의 27%만이 GenAI가 만든 콘텐츠를 사용하기 전 검토한다고 답했습니다. 전형적인 '알면서도 안 하는' 케이스.

GenAI의 미래는 Agentic AI라는데 기업들은?

GenAI 혁신의 다음 물결은 “Agentic AI”에 집중될 것으로 예상됩니다. Agentic AI는 자율적인 행동과 의사결정이 가능한 시스템으로, 여러 분야의 AI Agents를 활용해 복잡한 작업을 최소한의 인간 감독으로 완료할 수 있어요. 이미 약 26%의 조직은 자율 Agent 개발을 대규모로 탐색하거나 진행하고 있다고 하네요. 결국 "사람은 전략을, AI는 실행을"이라는 분업 체계가 현실이 되는 것 같습니다.

Conclusion: 다음 STEP, 준비되셨나요?

이번 조사 결과는 GenAI가 단순한 IT Trend를 넘어선 진짜 혁명임을 다시 한번 증명했습니다. GenAI는 이미 비즈니스 모델에 상당한 영향을 미치고 있으며, 그 잠재력은 상상 이상입니다. 기업들도 이제 '실험 놀이'를 넘어 실제 비즈니스 성과를 만들어내는 데 집중하고 있어요.

이 GenAI 시대에서 성공하려면, 단순히 기술을 도입하는 것만으로는 부족합니다. 조직 전체의 문화와 프로세스를 재설계하는 과감한 변화가 필요해요.

기업의 65%는 GenAI 구현 시 전문 서비스 제공업체와의 파트너십을 선호한다고 답했습니다. 당연한 얘기죠. 필요한 역량을 내부에서 모두 갖추기는 불가능하니까요. 특히 End-to-end 역량과 검증된 산업별 사용 사례를 갖춘 파트너가 필수라고 인식되고 있어요.

지금 바로 GenAI 파트너와 함께 귀사의 GenAI 성공 스토리를 시작하세요!

※ 더 자세한 정보와 깊이 있는 분석은 관련 보고서들을 참조하시기 바랍니다.

References

1. McKinsey, Superagency in the Workplace: Empowering people to unlock AI’s full potential, 2025.01

2. Deloitte, State of Generative AI in the Enterprise Quarter four report, 2025.01

3. HPE, Architect an AI advantage, 2024.01

4. KPMG, GenAI Survey-2024, 2024.08

5. KPMG, Q1 2025 AI Pulse Survey, 2025.04

6. McKinsey, AI in the workplace: A report for 2025

7. NTT Data, Global GenAI Report: How organizations are mastering their GenAI destiny in 2025

8. SS&C BluePrism, The Global Enterprise AI Survey 2025: Understanding the Evolution of Agentic AI