80%의 AI 프로젝트가 실패하는 진짜 이유
우리가 바꿔야 할 것들
화요일 저녁, 고우넷트레이닝센터에서 열린 PMI 세미나에 참석했다. 제목은 '성공적인 AI 프로젝트 운영과 실패를 피하는 방법'. 솔직히 말하면 그냥 PDU 몇 개 따려고 신청한 거였는데, 발표자 Kathleen Walch가 던진 첫 번째 통계에 정신이 번쩍 들었다.
"80% 이상의 AI 프로젝트가 실패합니다."
국가연구개발사업 기획을 담당하는 내 입장에서 이 수치는 충격적이었다. 요즘 AI 들어가지 않은 R&D 과제를 찾기가 더 어려운데, 10개 중 8개가 실패한다는 얘기니까.
우리가 놓치고 있던 것들
발표를 들으면서 왜 이렇게 많은 AI 프로젝트가 실패하는지 서서히 이해가 되기 시작했다. 가장 큰 문제는 우리가 AI 프로젝트를 일반 소프트웨어 개발 프로젝트처럼 접근한다는 것이었다.
"AI 애플리케이션은 코드가 아니라 데이터로 작동합니다."
Kathleen의 말이 머릿속에 꽂혔다. 정말 그랬다. 지금까지 본 많은 AI 과제들이 '알고리즘 개발'에만 집중하고, 정작 그 알고리즘을 먹여 살릴 데이터에 대해서는 대충 넘어가는 경우가 많았다.
그녀가 보여준 차트에 따르면 AI 프로젝트의 80%가 데이터 엔지니어링에 할애된다고 한다. 그런데 우리는 여전히 '모델 개발'에만 예산과 인력을 몰아주고 있다.
진짜 문제는 따로 있었다
더 충격적인 건 실패 사례들이었다. 월마트의 선반 스캐닝 로봇, IBM Watson Health, Air Canada의 챗봇... 모두 기술적으로는 가능했지만 현실에서는 실패했다.
월마트 사례가 특히 인상 깊었다. 로봇이 선반을 스캔해서 재고를 확인하는 시스템인데, 기술적으로는 완벽했다. 하지만 결국 사람이 하는 게 더 비용 효율적이라는 결론에 도달해서 프로젝트를 중단했다.
'AI를 위한 AI'를 하고 있었던 거다.
나는 지금까지 얼마나 많은 과제에서 "AI 기술 개발"이라는 목표만 보고, 정작 그것이 해결하려는 진짜 문제가 무엇인지 제대로 묻지 않았을까 돌이켜봤다.
데이터의 함정
Kathleen이 보여준 또 다른 사례는 Rite Aid의 얼굴인식 시스템이었다. FTC에서 5년간 사용 금지 처분을 받은 사건인데, 이유는 여성과 유색인종을 도둑으로 잘못 인식하는 비율이 높았기 때문이다.
편향된 데이터로 훈련된 AI가 편향된 결과를 낸 것이다. 기술적으로는 '작동'했지만, 사회적으로는 완전히 실패한 사례였다.
Andrew Ng의 인터뷰도 인상 깊었다. 병원에서 사용하는 AI 진단 시스템이 다른 병원의 다른 장비에서는 성능이 크게 떨어진다는 내용이었다. 반면 인간 의사는 어느 병원에 가든 잘 진단한다.
"실세계는 훈련 데이터보다 훨씬 복잡하고 변화무쌍하다"는 걸 새삼 깨달았다.
CPMAI라는 해답
그렇다면 어떻게 해야 할까? Kathleen이 제시한 해답은 CPMAI(Cognitive Project Management for AI)라는 방법론이었다.
핵심은 "Think Big. Start Small. Iterate Often."
거창한 비전을 가지되, 작게 시작해서 자주 반복하라는 뜻이다. 듣고 보니 애자일 방법론과 비슷하면서도, AI의 특성을 고려한 접근법이었다.
6단계로 구성된 순환 프로세스인데, 가장 인상 깊었던 건 첫 번째 단계가 'Business Understanding'이라는 점이었다. 기술이 아니라 비즈니스, 즉 해결하려는 문제를 먼저 이해하라는 것이다.
두 번째는 'Data Understanding'. 어떤 데이터가 있고, 그 데이터의 품질은 어떤지를 파악하는 단계다. 이 두 단계에서 이미 많은 AI 프로젝트의 성패가 갈린다고 한다.
우리가 바꿔야 할 것들
세미나를 듣고 나서 국가R&D 과제 기획에 적용할 수 있는 것들을 생각해봤다.
먼저 과제 기획 단계에서부터 바뀌어야 한다. "AI를 활용한 무엇무엇 개발" 같은 막연한 제목이 아니라, "특정 문제 해결을 위한 AI 활용"으로 관점을 바꿔야 한다.
데이터 전략도 처음부터 세워야 한다. 어떤 데이터가 필요하고, 그 데이터를 어디서 구할 것이며, 품질은 어떻게 보장할 것인지... 이런 것들이 예산 계획에 제대로 반영되어야 한다.
그리고 PoC(Proof of Concept) 성공이 실제 성공을 의미하지 않는다는 점도 명심해야 한다. 실세계 환경에서의 검증 단계를 훨씬 강화해야 한다.
실패를 두려워하지 말되, 준비는 철저히
80%가 실패한다는 통계가 처음엔 절망적으로 느껴졌지만, 생각해보니 그만큼 개선의 여지가 크다는 뜻이기도 하다.
중요한 건 실패를 두려워하지 않으면서도, 실패할 수밖에 없는 뻔한 실수들은 미리 피하는 것이다. CPMAI 같은 검증된 방법론을 활용하면 충분히 가능한 일이다.
PMI에서 제공하는 무료 CPMAI 입문 과정을 신청했다. 11개 언어로 제공되고 한국어도 지원한다니, 동료 연구원들과 함께 들어볼 계획이다.
AI 시대, 모든 것이 빠르게 변하고 있다. 하지만 사람과 프로세스, 그리고 체계적인 관리의 중요성은 변하지 않는다. 오히려 더 중요해지고 있다.
화요일 저녁 2시간 30분이 내 R&D 기획 철학을 바꿔놓았다. 때로는 이런 우연한 만남이 가장 큰 인사이트를 준다.
2025년 9월 2일, 고우넷트레이닝센터에서
