한국 기업 AI 성과가 없는 진짜 이유

버티컬 전장의 선택부터 잠든 데이터 발굴까지, 한국 AI 실전 전략

'쓸 줄 아는' 경쟁에서 한국이 싸우는 장소 - 애플리케이션 계층라는 전장

"모두 AI를 쓰고 있는데, 왜 성과가 나오지 않는가"

2025년, 한국 기업의 생성 AI 도입률은 빠르게 상승하고 있다.
과학기술정보통신부·정보통신정책연구원(KISDI) 조사에 따르면, 기업 차원에서 공식적으로 생성 AI를 도입한 기업 비율은 30%대에 진입하고 있으며, 임직원 개인 차원의 활용까지 포함하면 실질 이용률은 더 높다.
숫자만 보면, 나쁘지 않다.

그러나 문제는 '효과'다.

PwC의 글로벌 비교 조사(2025년 봄)에 따르면, 한국의 AI 도입 비율은 평균 수준이지만, 효과 실감은 기대에 미치지 못하는 경우가 많고, "기대를 상회하는 성과를 냈다"고 답한 기업의 비율은 미국·영국의 4분의 1, 독일·중국의 절반 수준에 그친다.

도입은 했다. 그런데 성과가 나오지 않는다. 왜인가.

이 물음에 답하는 것이 이 장의 핵심 주제다. 그리고 그 답은, "무엇을 위해 AI를 쓰고 있는가" - 즉 전장의 선택에 있다.

AI 가치 스택을 '3층'으로 다시 파악한다

AI로 가치를 만드는 구조를 이해하기 위해, 나는 '3층의 스택'이라는 프레임을 일관되게 사용한다.

제1계층: 모델 계층 (Foundation Model)

OpenAI, Google, Anthropic, Meta, DeepSeek이 경쟁하는 세계. GPT, Gemini, Claude, LLaMA가 여기에 위치한다. 자본·GPU·대규모 데이터의 싸움이며, 이전 장에서 논한 것처럼, 한국이 정면으로 뛰어들 필요가 없는 전장이다.

제2계층: 플랫폼 계층

모델을 "사용할 수 있도록 하는"인프라다. RAG(검색 증강 생성), AI 에이전트 프레임워크, API 오케스트레이션, MLOps 툴 등이 여기에 해당한다. LangChain, LlamaIndex, AWS Bedrock, Azure AI Foundry 등이 글로벌 플레이어이며, 이 레이어도 세계 표준 오픈소스가 빠른 속도로 성숙하고 있다.

제3계층: 애플리케이션 계층

모델과 플랫폼 위에 올라타는, 업계 특화·업무 특화의 AI 서비스와 시스템이다. 의료 AI 차트 자동화, 반도체 공정 품질 검사 AI, 스마트팜 수확량 예측, 건설 시공 관리 자동화, 법률 문서 리뷰 등이 이것이 한국의 진짜 전장이다.

이 3계층에서, 한국이 진지하게 승부를 걸어야 하는 곳은 제3계층, 애플리케이션 계층뿐이다.
이유는 단순하다. 제1·2계층은 이미 글로벌 빅테크가 굳건히 자리를 잡고 있으며, 제3계층이야말로 '현장의 깊이'가 결정적인 차별화 요인이 되기 때문이다.

왜 '쓰기만'해서는 성과가 나오지 않는가

한국기업의 생성 AI 활용 실태를 보면, 가장 많이 활용되는 용도는 '회의록·보고서 자동 작성', '이메일·문서 초안 생성', '정보 검색·요약'이다. 활용 기업의 과반수가 이 용도에 집중하고 있으며, 이것은 일본, 독일 등 다른 주요국과도 유사한 패턴이다.

'회의록을 자동 작성한다'

'이메일 문장을 다듬어 받는다'

'ChatGPT에 요약을 부탁한다'

이것들은 모두 애플리케이션 층 중에서도 가장 범용적이고 차별화가 가장 어려운 사용 방법이다.

왜 차별화가 어려운가.
그것은 '누구나 같은 것을 할 수 있기'때문이다. ChatGPT 접근은 월 20달러로 전 세계 누구에게나 열려 있다. 회의록 자동화 툴도 이미 수십 개 기업이 제공하고 있다.
진짜 전장은 여기가 아니다.

한국 기업에서 생성 AI 도입을 주저하는 이유로 가장 많이 거론되는 것은 '효과적인 활용 방법을 모르겠다'이며, 이어서 보안 리스크, 비용 우려 순이다.

'효과적인 활용 방법을 모르겠다'
이 말이 가리키는 것은, 단순한 디지털 리터러시 문제가 아니다.
'자사의 깊은 현장 과제'와 'AI의 능력'을 연결하는 비즈니스 브리지 인재가 없다는 구조적 공백이다.

데이터 사이언티스트로서 현장을 직접 겪어온 경험에서 말하자면, AI 프로젝트의 진짜 어려움은 '모델을 돌리는 것'에 있지 않다. 어려운 것은 항상 이 두 가지다.

'어떤 문제를 풀어야 하는지를 정확하게 정의하는 것'

'그 해법을 현장 업무에 어떻게 내재화하는가'

이 두 가지야말로, 애플리케이션 계층에서 실질적인 성과를 만들어내기 위한 핵심이다.

'깊이'가 진입 장벽이 된다 - 버티컬 AI라는 무기

그렇다면, 제3계층 애플리케이션 층에서 어떻게 구체적으로 차별화하는가. 키워드는 '깊이'다.

한국 기업은 특정 업계의 과제를 '좁고 깊게' 해결하는 수직 통합형(버티컬) 특화에 강점이 있다. 반도체, 배터리, 조선, 자동차, 의료 등 한국이 세계 경쟁력을 가진 산업들은 모두 수십 년에 걸쳐 축적된 공정 노하우와 도메인 데이터를 기반으로 한다. 한국은 업계 특유의 규제·인증 구조가 촘촘하기 때문에, '넓고 얕게'의 수평형 SaaS보다 '좁고 깊게' 과제를 해결하는 버티컬 SaaS·AI가 뿌리내리기 쉬운 시장이다.

버티컬 AI란 무엇인가. 의료 분야를 예로 들어보자.
범용 생성 AI에 "이 환자의 진료 기록에서 처방전을 작성해"라고 요청해도, 건강보험심사평가원(HIRA)의 급여 기준, 의약품 처방 코드 체계, 전자의무기록(EMR) 시스템의 서식 규정에는 대응하지 못한다. 이것을 해결하려면, 한국 의료보험 제도 지식을 AI에 직접 내재화하고, EMR 시스템과 실제로 연동하며, 의사·간호사의 업무 플로우에 맞게 처음부터 재설계해야 한다.

이 '내재화'와 '업무 플로우로의 실질적 접속'은, 그 현장을 속속들이 아는 사람만이 할 수 있다. 그리고 바로 그것이 진입 장벽이 된다.

한국의 맥락에서 중요한 또 하나의 시점이 있다. 저출생·고령화가 가속되는 한국은, 특정 산업에서 심각한 인력 부족에 직면하고 있다. 요양·간호, 스마트팜 농업, 건설, 물류등의 산업들은 복잡한 전문 지식을 요하는 동시에 인력이 구조적으로 부족하기 때문에, 범용 AI가 그대로 대체할 수 없다. 오히려 업계를 깊이 아는 플레이어가 진입할 수 있는 여지가 가장 넓은 곳이 여기다.

성공 사례에서 읽어내는 '깊이의 승리 패턴'

삼성전자·SK하이닉스의 '공정 데이터 AI'

반도체 제조 현장에서 축적된 수십억 건의 공정 센서 데이터, 수율 관리 이력, 불량 패턴 분류와 같은 데이터들은 세계 어느 AI 기업도 보유하지 못한 한국 제조업의 고유 자산이다. 이 데이터를 기반으로 구축된 공정 이상 감지 AI나 수율 예측 모델은, 외부 경쟁사가 동일한 모델 아키텍처를 써도 절대 복제할 수 없다. 데이터 자체가 해자(moat)가 되기 때문이다.

의료 AI: 뷰노(VUNO)·루닛(Lunit)의 버티컬 전략

뷰노와 루닛이 의료 AI 시장에서 글로벌 존재감을 키울 수 있었던 것은, 최신 모델을 가장 먼저 적용했기 때문이 아니다. 수년에 걸쳐 국내 주요 병원과 함께 임상 데이터를 축적하고, 식약처 허가 프로세스를 내재화하고, 실제 방사선과·병리과 의사의 판독 워크플로우에 AI를 녹여넣었기 때문이다. 이 '깊이'는 미국·중국 AI 스타트업이 단기간에 따라잡을 수 없는 진입 장벽이 된다.