우리 회사는 언제까지 내 눈물로 크려나
AI를 쓰는데 왜 성과는 제자리일까(1)
인공지능(AI)은 기대를 먹고 자라나 봅니다. 작년 한 해 전 세계적으로 생성형 AI 분야에만 339억 달러의 투자가 몰렸고, 기업 10곳 중 8곳 가까이가 어떤 형태로든 AI를 업무에 도입했다고도 하죠. 성능은 또 어떻습니까. 종류를 막론하고 이전 모델에 비해 최소 몇십 퍼센트가 개선되었다는 보도는 심심치 않게 찾아볼 수 있습니다.
기대감 이면에는 냉정한 현실도 존재합니다. 그래프에서 볼 수 있듯, 2010년대 이후 많은 선진국의 거시경제 지표상 노동 생산성 증가율은 정체되어 있습니다. AI 도입으로 생산성 향상이 기대되지만, 아직까지는 지표상 뚜렷한 변화를 확인하기 어렵습니다. 실제로 많은 기업에서 직원들은 AI 도구를 활용해 개인의 업무 효율성 향상을 체감하고 있지만, 조직 전체의 성과로 이어지지는 않고 있습니다. 이는 1980년대 PC가 보급되었음에도 생산성 통계에는 반영되지 않았던 ‘솔로우의 역설(Solow's Paradox)’을 떠올리게 합니다.
AI를 쓰는데 왜 성과는 제자리일까. 한 번 파보죠.
한국에서 AI는 얼마나 다를까
윈도 95의 재림 : 일상,업무에서 자연스러운 도구
현재 AI가 확산하는 양상은 1990년대 중반 윈도 95의 등장과 함께 본격화된 PC•인터넷 혁명과 닮아 있습니다. 폭발적인 성장세도 그렇지만 초기의 낯섦과 전문가의 영역이라는 인식을 넘어, 이제는 미처 존재를 의식하지 못할 만큼 자연스러워졌다는 점도 그렇습니다. 검색 알고리즘, 상품 추천 시스템, 음성 비서 등을 통해 매일 AI와 상호작용하고 있지만, 대부분은 인지하지 못합니다. 마치 공기 같달까요.
이러한 보편화는 업무 환경에서 더욱 두드러집니다. 특히 생성형 AI의 채택 속도는 놀라운 수준입니다. PC가 대중에게 소개된 후 3년이 지났을 때 채택률은 고작 20%대에 불과했고, 인터넷도 비슷한 수준이었습니다. 생성형 AI는 얘기가 다릅니다. PC와 인터넷이 그랬던 것처럼 업무와 소통의 방식을 재정의하는 '게임 체인저'역할을 이어받을 기세입니다.
온도차와 조바심 : 우리에게 AI란
AI에 대한 기대, 우리도 높습니다. 도입은 말할 것도 없고 기술적 잠재력도 괜찮은 편이죠. 하지만 산업이나 규모, 심지어 지역에 따른 온도차는 그 기대를 꼼꼼히 돌아보게 만듭니다. 2024년 대한상공회의소의 발표에 따르면, 제조업의 AI 활용률은 23.8%로 서비스업 활용률 53%의 절반에도 못 미쳤습니다. 3년 전 조사에서 제조업의 AI 활용률이 9.3%였던 점을 감안하면 의미 있는 결과지만 만족할 수치는 아닙니다.
산업, 규모, 심지어 지역에 따른 편차가 있다기업의 규모별 활용률을 볼까요. 대기업이 48.8%, 중견기업이 30.1%, 중소기업이 28.7% 로 기업규모에 비례해 AI 활용률이 높게 나타납니다. 지역별로는 수도권 기업이 40.4%, 비수도권 기업이 17.9%로 2배 이상의 차이를 나타냈죠. 이는 AI 활용이 사실상 자본력과 인재 확보가 용이한 수도권 위주의 대기업과 산업에 국한되고 있음을 보여줍니다.
수치에서 보듯 대다수 제조업, 그리고 중소·중견기업들은 아직 AI와 거리가 있습니다. '모두가 AI를 쓰고 있어. 우리도 얼른 써야 해'라는 조바심이 생길법한 차이입니다. 신기술 도입 지연으로 생긴 조바심은 기술 자체에 집착하는 결과를 불러올 때가 많습니다. 늘 그렇듯 명확한 방향성이나 철학, 철저한 준비는 뒤로 밀립니다.
AI가 안 먹히면 직원들이 웁니다
필연적으로 발생하는 거시 경제적 시차
역사적으로 신기술의 등장은 항상 상당한 시차를 두고 생산성 향상으로 이어집니다. 전기는 19세기말에 발명되었지만, 공장 전체의 레이아웃과 생산 공정이 전력 시스템에 맞춰 재설계된 이후인 1920년대에 이르러서야 비로소 그 생산성 향상 효과가 본격적으로 나타나기 시작했죠. 80년대 초반에 등장한 PC 역시, 기업들이 업무 프로세스를 디지털 기반으로 재편하고 윈도와 인터넷이라는 보완적 혁신이 결합된 1995년 이후에야 비로소 거시 경제 지표에 뚜렷한 향상을 가져왔습니다.
신기술이 생산성 향상으로 이어지는 데는 상당한 기간이 필요하다 (OECD, ING Calculations)이처럼 새로운 기술이 등장하고 그것이 사회 전반의 생산성을 끌어올리기까지는 짧게는 15년에서 길게는 40년에 이르는 '도입 및 재구축 지연(Implementation and Restructuring Lags)'이 발생합니다. 증기기관과 전기, PC가 그랬죠. 2010년대 중반에 출현한 AI는 한창 그 시차를 지나는 과정입니다. 이런 거시 경제적 시차에 대해서 연구자들은 "미래를 내다보는 기술적 낙관론과 과거를 돌아보는 통계적 실망감"의 충돌이라는 표현을 쓰기도 합니다(NBER Working paper, 2017).
'GenAI Paradox': 수평적 확산과 수직적 정체
거시 경제적 시차 외에도, AI 도입이 기업의 성과로 이어지지 못하는 이유는 또 있습니다. 'GenAI 역설(GenAI Paradox)'이라는 개념(Mckinsey, 2024)입니다. 이 역설은 AI 활용 방식의 불균형을 지적합니다. 대부분의 기업은 '수평적(Horizontal)' AI 활용에는 적극적이지만, '수직적(Vertical)' AI 활용에는 소극적이라고요. 아, 수직적 활용과 수평적 활용은 아래와 같이 정의됩니다.
수평적 활용 : 전사적으로 사용되는 범용 AI 도구로, 마이크로소프트 365 코파일럿 같은 AI 비서가 대표적이다. 문서 작성, 이메일 요약 등 개인 업무 효율을 높이며 도입이 쉽고 빠르게 확산된다. 다만 개인별 효과 분산으로 조직 전체 성과 측정이 어렵고, 핵심 가치 창출에 미치는 영향은 제한적이다.
수직적 활용 : 특정 비즈니스 기능의 핵심 프로세스에 AI를 깊이 내장하는 것이다. 개인화 마케팅 자동화, 실시간 재고 최적화, 생산라인 이상 예측 등이 해당된다. 기업 수익성과 경쟁력에 직접적 영향을 미치지만, 업무 절차 재설계와 데이터 통합 등 복잡한 조직 변화가 필요하다.
'AI 덕분에 보고서 초안 쓰는 시간은 줄었는데, 왜 내 일은 줄어들지 않고 회사는 나아지는 게 없지?'라고 느끼는 이유가 여기에 있습니다. Chat GPT로 보고서를 5분 만에 작성했다 한들, 그 보고서가 결재 라인을 거쳐 승인받는 데 한 세월이면 개인 차원의 생산성 향상은 큰 의미가 없습니다. 현실이 이렇다 보니 수직적 AI 활용에서도 파일럿 단계를 벗어나 성공적으로 확장되는 경우는 극히 드뭅니다. 이것이 'AI를 쓰는데도 성과가 제자리인' 현상의 가장 핵심적인 원인입니다.
80% vs 20% : 쉬운 곳에 대부분의 노력을 쓴다
기업들은 왜 수직적 활용에 적극적이지 않을까요? 중요하지만 어렵고 복잡한 데다 결정적으로 티가 안 나기 때문입니다. AI 도입의 성패는 1) 10%의 알고리즘, 2) 20%의 데이터 및 기술 인프라, 3) 70%의 사람, 프로세스, 문화적 변혁에 의해 결정(BCG, 2025)됩니다. 하지만 현실에서 이 공식은 정반대로 적용됩니다.
그림에서 보듯, 많은 조직이 가시적이고 도입하기 쉬운 기술과 알고리즘(1과 2의 영역)에 전체 노력의 80%를 들이는 반면 '사람과 프로세스, 문화'의 문제(3의 영역)엔 겨우 20%의 노력을 들입니다. AI 하나 도입하는데 업무절차, 의사결정 구조, 부서 간 경계, 보고 체계까지 건드려야 하냐 이거죠. 이런 접근법은 AI의 도입에 따른 효율을 떨어트리면서 비용은 증가시킵니다.
새로운 기술 도입을 통한 생산성 향상의 성패는 기술의 우수성이 아니라, 그 기술을 담아낼 조직의 준비 상태, 즉 '70% 영역'에 대한 투자가 핵심입니다. 이 투자를 소홀히 한 기업에겐 현실과 기술 사이의 공백이 발생하게 되고, 그 공백은 결국 구성원들의 '더 많은 땀과 눈물'로 메우게 됩니다. AI를 도입했다는 명분하에 대책 없이 일만 늘어날 가능성 역시 크니까요. 이 경우엔 AI 마저도 일이 됩니다.
AI 도입 후에도 성과가 제자리라면 한 번 짚어볼 필요가 있습니다. '필연적으로 발생하는 시차 때문인가, 아니면 조직의 운영 모델이 이미 한계에 도달했다는 신호인가' 라고 말이죠.
고객님, 그거 그렇게 쓰시면 안 되세요
더 나은 AI가 나온 들 뭐가 달라질까
최신 AI 모델을 구독하거나, 최첨단 하드웨어를 구비하거나, 데이터 사이언티스트를 몇 명 채용하는 것으로 'AI 도입에 대한 준비'를 끝냈다고 이야기하는 기업들이 있습니다. 기존의 시스템에 덧붙여 사용하는 괜찮은 도구라고 보기 때문이죠. 하지만 진정한 의미의 'AI 준비'는 그런 기술적 요소를 포함한 입체적인 접근법을 요구합니다.
'AI의 잠재력을 활용할 수 있도록 조직을 개선'하는 것이 목표가 되어야 합니다. 이메일 작성 시간을 단축하고, 보고서 초안을 만드는 수준의 '수평적 활용'에 만족하는 한, AI를 통한 생산성 향상 혹은 창의적 성과 창출은 기대하기 어렵습니다. 직원 개인의 노력은 비효율적 구조 앞에서 좌절될 것이고, 되려 늘어난 업무량에 눈물짓겠죠. 더 나은 AI가 나온다고 해서 해결될 문제가 아닙니다.
물론 AI의 기술적 미성숙함에 대한 부분도 있습니다. AI 기술이 많이 발전했다곤 하나 아직은 기대에 미치지 못하는 점도 분명히 있거든요. 이 부분은 다음 회차에서 이어서 다루도록 하겠습니다. 너무 길어졌어요(긁적).
다음 회차에 뵙죠.
