AI Agenthon에서 본 기업의 AI 도입 준비
지난주는 유난히 추웠다.
지난 화요일에는 12월 필드 & 세미나 일정으로 아이스 필드에서 퍼팅을 하는 경험을 처음 해봤다.
보통 11월 초 이후로 라운딩을 하지 않았기에 겨울 라운딩 자체도 처음이어서 매우 즐기기는 쉽지 않았다.
비싼 비용을 들여가며 한겨울에 라운딩을 할 만큼 골프에 열정적인 분이 주변에 많지 않은 것도 이유였다.
그럼에도 세미나, 식사, 참석자 네트워크까지 전반적으로 의미 있고 잘 준비된 행사여서 주최 측에 감사한 마음이었다.
다만 파주의 겨울바람은 머리가 깨질 듯해 다시 경험하고 싶진 않았다.
지난 금요일 이문동과 회기동 사이에 위치한 K대에서 열린 Microsoft Copilot Agenthon 행사에 다녀왔다.
관련 사업을 담당하다 보니 이전에도 여러 번 초청을 받았지만 일정상 미루고 있었고 마침 담당자와의 미팅도 있어 겸사겸사 참석했다.
행사장으로 향하는 길은 한 차례 눈이 내린 뒤라 택시 창밖 풍경이 제법 겨울다웠다.
강남역 일대에서 보던 직장인들과는 또 다른, 학생 특유의 어설프지만 열심히 꾸민 모습들, 담배가 서툰 듯 손가락에서 괜히 꼼지락거리는 모습들, 외국 학생들이 많아 확실히 세상이 달라졌다는 생각이 스치는 순간들, 전공 과대별로 신축과 개보수가 뒤섞인 캠퍼스 풍경까지. 그 짧은 이동 시간이 작은 힐링이었다.
풋풋함과 자신감이 동시에 묻어나는 학생들의 모습은 친근했고 지금의 나에게는 조금 아니 아주 많이 부럽기도 했다.
학장님과 담당 교수님께 인사를 드린 후 발표, 평가, 시상까지 약 3시간 동안 진행된 행사가 시작되었다.
Copilot Agenthon은 Microsoft Copilot Studio를 활용해 특정 업무나 학습 과정을 해결하기 위한 AI 에이전트를 직접 개발하는 해커톤이다.
학생들에게는 이력서에 한 줄 넣을 수 있는 상장과 실용적인 상품을 받을 수 있는 기회이기도 하다.
아이디어 구성과 깔끔한 프레젠테이션들이 인상적이었고 행사는 무난히 마무리되었다.
참가상에 머문 학생들의 표정에는 아쉬움이 있었지만, 수상한 학생들은 밝은 얼굴로 행사장을 나섰다.
행사를 마무리하고 돌아오는 길에 그 학생들을 보며 이런저런 생각이 들었다.
젊은 세대는 이미 AI 에이전트에 관심이 많고 직접 만들어보는 시대를 살고 있는데 정작 기업들은 아직 이 속도를 따라오지 못하고 있다는 점이었다.
최근 대학과 대학 병원에서 AI Agent 교육 행사를 자주 하고 있다.
기업뿐만 아니라 교육 분야 중에서도 대학과 대학병원은 AI Agent에 대한 관심이 매우 높다.
정책적으로 개방 가능한 데이터 환경을 중심으로 GAI 서비스를 제공하고 있고 본격 도입을 위해 지속적으로 PoC(Proof of Concept) 단계를 진행하고 있다.
아직 매출 성장이나 운영 효율화의 직접적인 성과가 가시적이진 않지만 분명 조직의 AI 리터러시는 꾸준히 높아지고 있다.
그러나 고객사 상당수는 AI 활용 캠페인을 열심히 진행함에도 실질적 효과를 체감하지 못하고 있다.
그 이유는 AI 기술의 문제가 아니라 기업 내부 구조가 AI를 받아들일 준비가 되어 있지 않기 때문이 큰 이유라고 생각한다.
1. 업무 구조와 데이터 환경이 자동화를 수용할 준비가 되어 있지 않다
AI가 성과를 내려면 두 가지가 필수적이다.
업무가 표준화 및 구조화가 되어 있어야 하고 데이터가 정제되어 연결되어 있어야 한다.
그러나 많은 조직은 다음과 같은 상태다.
- 사람 중심의 비정형 프로세스
- 승인, 예외 처리, 협업 단계가 복잡하고 규칙화가 되어 있지 않거나 규칙화만 되어 있음
- ERP, CRM, 메일, 문서 시스템이 일부 연동은 되어 있으나 데이터의 자동화 흐름을 만들기 어려움
- 데이터는 중복, 누락, 오류가 많고 시스템별로 분산되고 데이터 형식도 다름
즉, AI가 제대로 작동할 기본 토대가 부족한 상태다.
기업들은 AI의 ROI가 늦는 이유를 기술의 한계에서 찾지만 실제 이유는 더 단순하다.
데이터 정비와 업무 표준화에 대한 투자를 고려하기 않기 때문이다.
AI가 성과를 내려면 선행 투자(데이터 정비)가 필요하지만 많은 기업은 이를 ‘투자’가 아닌 ‘비용’으로 간주한다.
그리고 그 작업이 매우 어려운 작업임으로 누구든 선뜻 그 책임을 감수하고 싶어 하지 않는다.
2. 확정 전략이 없는 PoC 중심의 단편적인 도입으로 중단된다.
작년 말부터 AI를 제외하고는 예산을 확보하기 어려워지면서 많은 조직이 PoC를 진행하고 있다. 그러나 대부분 다음 흐름을 반복한다.
- PoC > 데모 > 시연 > "좋다" or "예산이 없다." 평가 > 종료
실제 운영으로 확장되기보다 AI 서비스를 ‘구경’한 것으로 마무리되는 경우가 많다.
대부분은 단순 ChatGPT 활용이나 RAG 연동 수준에서 멈추며 조직 전체 프로세스를 재설계하는 단계로 이어지지 않는다.
결과적으로 ROI를 기대할 수 없어 추가 예산 확보가 쉽지 않다.
AI를 도입하기 위해서는 일하는 방식이 바뀌어야 하고 만일 그대로이면 조직적으로 성과가 날 수 없다
기술만 도입하고, 사람과 프로세스는 그대로다.
개인의 업무 시간이 좀 줄 수 있지만 조직의 역량을 동일하게 되고 인력 재배치하거나 KPI 재설계, 승인, 협업 구조를 효과적으로 변경함으로 얻을 수 있는 기업의 경쟁력을 확보하기가 어렵다.
이 상태에서는 AI가 아무리 좋아도 조직의 비용 구조나 성과 구조가 달라질 수 없다.
일부 글로벌 기업(네슬레, 월마트, Big tech 등)은 이 변화를 빠르게 진행하고 있으나 대부분의 조직은 여전히 방향에 대한 결정과 준비가 되지 않은 상태다.
한 가지 위안이 되는 것은 현재 AI 기술이 기술 자체도 아직 절대적 성숙도에 도달하지 않았기 때문에 내년 한 해까지는 Agent AI라는 아이템으로 많은 기업들이 성공과 실패를 경험할 것이다.
비싼 비용으로 전문 컨설팅을 진행해서 프로젝트까지 구성해서 시스템을 구축했는데 어느 순간 그 역할 자체를 AI가 처리하는 경험을 하게 될 테니까 말이다.
이 과도기는 참으로 어렵다.
하긴 해야 하는데 AI 발전 속도를 따라가는 것이 너무 어렵고 도메인 지식은 점점 값어치가 떨어질 것이고 관련 비즈니스를 하는 입장에서 열심히 밸류 세일즈를 하고 있으나 한 두 달 영업해서 계약하는 시점에 그 프로젝트가 필요 없어질 수 있으니 말이다.
그래도 반드시 조직이 준비해야 하는 것은 업무 표준화와 데이터 정비다.
모든 것을 AI가 해 줄 수는 없다.
AI가 기업 매출과 비용에 실질적 영향력을 발휘 못하는 이유는 AI가 효과를 발휘할 수 있는 기업의 업무, 데이터, 프로세스, 조직 구조가 준비가 되어 있지 않음과 그 영역은 아직 AI가 할 수 없는 영역이기 때문이다.
부정할 수 없는 것 도입이 늦을수록, 조직 구성원의 AI 활용도가 낮을 수도록 기업의 존속은 어려워진다.
