AX란 무엇인가 (1)

AX 여정기 (1) : 사내 거버넌스와 변화관리의 시작

팀장이라는 직책의 무게를 짊어진 지 아직 1년도 채 되지 않았지만, 실제 피로감은 상상을 초월한다

통상적인 리더십 교본이라면 이 시기를 ‘새로운 역할 적응 및 조직의 성격을 파악하는 시간’으로 정의하겠지만, 현실은 내게 그런 우아한 여유를 허락하지 않았다.

기술의 파도

조직의 리더십에 적응하는 속도보다, 눈앞에서 비즈니스의 지형을 뒤엎는 기술의 변화 속도가 압도적으로 빠르고 폭력적으로 다가왔기 때문이다. 매일같이 쏟아지는 생성형 AI의 파도 속에서 나에게 요구된 것은 단순히 새로운 툴의 기능을 이해하는 수준이 아니었다. 이 거대하고 통제하기 힘든 기술을, 우리 회사라는 복잡한 생태계 안에 어떻게 안전하고 영속적으로 착륙시킬 것인가에 대한 본질적인 통찰과 구조적 설계였다.

우리 회사는 린(Lean)하게 방향을 틀 수 있는 수십 명 규모의 스타트업이 아니다. 수많은 본부와 지점, 그리고 셀 수 없이 많은 인력이 각자의 목적과 책임으로 촘촘하게 얽혀 호흡하는, 마치 거대하고 유기적인 세포 군집과도 같다.

이런 생명체와 같은 엔터프라이즈 환경에서 AX(AI Transformation)의 진정한 성공은, 소수의 천재적인 개발자나 감각 있는 얼리어답터 몇 명이 주도하는 화려한 단기적 성과에 있지 않다. 오히려 기업 환경에서 가장 경계해야 할 것은 무분별한 기술 도입이 초래하는 ‘조직 내 기술 격차’와 통제되지 않는 ‘사일로(Silo) 현상’이다.

뛰어난 소수만 AI를 다루며 질주하고 대다수가 도태되는 구조는, 결국 전체 프로세스의 병목을 낳고 시스템의 운영 효율을 무너뜨린다. 따라서 팀장이 된 직후부터 내가 가장 깊게 고민하고 뚝심 있게 밀어붙인 핵심 철학은 다름 아닌 “하향 평준화의 상향화”였다.

혼자 잘나서 앞서가는 사람을 칭송하거나, 기술에 적응하지 못하고 뒤처지는 사람을 버려두는 것이 아니다. 조직 구성원 전체의 최저 기준선과 기본 체급을 밑바닥부터 통째로 끌어올려, 단 하나의 세포도 소외되지 않고 거대한 유기체가 다 함께 진화하게 만드는 것. 이것이 거대 조직을 움직이는 진짜 파괴력이다.

대형 엔터프라이즈 환경에서 ‘변화관리’가 단순한 신기술 도입보다 훨씬 더 무겁고 핵심적인 의미를 가지는 이유가 바로 여기에 있다. 이러한 운영 철학을 바탕으로, 사내 AX 전환의 첫 단추는 역설적이게도 기술의 무한한 자유를 허락하는 것이 아니라 ‘통제와 규칙의 설계’에서 시작되었다.

1. 제어 불가능한 속도 앞에 가드레일 세우기 : 전사 AI 활용 사규 및 지침 제정

기술의 진화는 언제나 제도보다 빠르게 나아간다.

하지만 제도가 기술을 통제하지 못하면, 기업은 보안 사고와 거버넌스 붕괴라는 치명적인 재앙을 맞게 된다. 실험의 자유가 기업의 자산이 되려면, 반드시 철저히 통제된 환경이라는 전제가 필요하다.

이를 위해 기술 배포에 앞서 선제적 컴플라이언스 기준을 마련했다. 사내 MMS 시스템에 전사 최초로 ‘AI 활용 규정’과 ‘기술 활용 지침’을 신설한 것이다. 이는 감사를 피하기 위한 면피용 문서 작업이 아니다. 본사와 국내외 전 지점에 이를 공표함으로써, 거대 조직이 일사불란하게 움직일 수 있는 ‘제도적 가드레일’을 구축한 결과다.

이 규정은 AI 활용을 가로막는 족쇄가 아니다. “AI는 개방하되, 기업은 통제해야 한다”는 원칙을 실천한 결과다. 명확한 가이드라인은 직원들에게 보안이나 정책 위반에 대한 두려움을 없애준다. 정해진 경계 안에서라면 누구든 자유롭게 기술을 업무에 적용할 수 있는 ‘심리적·제도적 안전망(Safety Net)’이 생긴 셈이다. 룰이 선명할 때 현업은 주저하지 않는다. 이번 지침은 제도가 기술의 뒤를 쫓는 관행을 끊고, 기술의 길을 가장 안전하게 열어준 첫 번째 변곡점이었다.

2. 확산과 통제의 치밀한 줄다리기 : GWS 기반 AI의 전략적 롤아웃

우리 회사는 문서, 스프레드시트, 슬라이드를 포함한 구글 워크스페이스(Google Workspace, 이하 GWS)를 전사 표준 협업 도구로 사용하고 있다. 전 직원이 하나의 클라우드 생태계 안에서 일하고 있다는 점은 기술 도입 측면에서 엄청난 무기였다. 이미 갖춰진 라이선스 체계 내에서 AI 기능을 활성화하기만 하면, 별도의 복잡한 구축 과정 없이 즉시 전사에 배포할 수 있는 완벽한 인프라가 준비되어 있었기 때문이다.

전략: 속도보다 중요한 것은 ‘통제된 확산’

하지만 나는 단순히 기능을 켜기만 하는 ‘행정적 나태함’을 경계했다. 명확한 가이드와 철학이 결여된 기술 배포는 섀도우 IT를 양산하고, 기업의 핵심인 데이터 통제력을 상실하는 지름길이기 때문이다.

나는 혁신의 속도와 보안 통제 사이의 균형을 계산했다. 그리고 전사 일괄 배포라는 쉬운 길 대신, 타깃별로 정교하게 설계된 ‘단계적 롤아웃’을 단행했다.

- Workspace Gemini : 얼리어답터 중심의 불씨 지피기

초기 단계에서는 전사 오픈을 배제하고, 사내에서 기술 수용성이 높은 ‘얼리어답터’들을 우선 모집하여 선행 도입 그룹을 만들었다. 기술팀이나 경영진이 억지로 주입하는 톱다운(Top-down) 방식의 혁신은 현장의 거부감을 낳고 결코 오래가지 못한다. 현업 스스로가 자신의 업무에서 AI의 가치를 증명해 낸 실무 모범 사례들이, 부서 내에서 자연스러운 불씨가 되어 번져나가도록 유기적인 확산의 구조를 먼저 설계했다.

- Gemini Pro : ‘의도된 허들’과 발로 뛰는 현장 밀착형 변화관리

더 강력한 성능을 지닌 Gemini Pro의 확산 과정에서는 의도적으로 허들을 높였다. 단순한 권한 오픈이 아니라, ‘온라인 AI 강의 수강’과 ‘보안서약서 제출’을 필수 조건으로 강제했다. 기술의 편리함을 쥐여주기 전에, 자신이 다루는 데이터의 무게와 사내 보안 의식을 개개인의 머릿속에 시스템적으로 각인시킨 것이다.

하지만 진정한 변화관리는 권한을 열어주는 모니터 뒤에서 끝나지 않는다. 서약을 마친 부서들을 대상으로는 직접 현장을 순회하며 발로 뛰었다. 마케팅, 영업, 기획 등 부서별로 다루는 데이터의 맥락이 완전히 다르기 때문이다.

현장의 낯선 언어를 AI의 언어로 번역해 주고, 맞춤형 모범 사례와 올바른 사용법을 밀착 지원했다. 제도를 던져놓고 관망하는 것이 아니라, 기술이 실제 현장의 프로세스에 피와 살처럼 녹아드는 과정을 끝까지 책임지는 것. 그것이 내가 정의한 진짜 변화관리이자 '하향 평준화의 상향화'를 이끄는 실천적 동력이다.

3. 엔터프라이즈 리더의 통제력 : NotebookLM의 전략적 보류 결단

때로는 새로운 기술을 도입하는 것보다, 그 도입을 멈추고 기다리는 결단이 훨씬 더 고도의 리더십과 뼈를 깎는 용기를 요구한다. 혁신은 ‘무엇을 할 것인가’만큼이나 ‘무엇을 하지 않을 것인가’를 결정할 때 그 방향성이 가장 선명해진다.

당시 사내에서 도입 요구가 가장 거셌던 기능 중 하나가 구글의 NotebookLM이었다. 라이선스 내에서 즉시 활용 가능하며, 방대한 문서를 던져 넣기만 하면 훌륭한 인사이트를 뽑아내는 압도적인 사용성을 자랑했다. 사내 정보 공유 속도를 혁신적으로 높일 수 있다는 현업의 기대감도 컸다. 당장 눈앞의 성과나 기술의 화려함만 좇았다면 당장이라도 열어주었을 것이다.

하지만 나는 아직까지 이 기능의 전사 오픈을 ‘보류’ 중이다.

그 편리함의 이면에는 엔터프라이즈 환경에서 절대 타협할 수 없는 치명적인 리스크가 보였기 때문이다. 문서 공유 및 정보 확산이 제어 범위를 넘어서고 세밀한 접근 통제가 작동하지 않는 상황에서, 무분별한 사내 기밀문서 업로드가 이루어진다면 데이터 보안은 순식간에 무너진다. 더 큰 문제는 각 부서별로 제각각 구축될 비공식 RAG(섀도우 챗봇)의 난립이었다.

검증되지 않고 파편화된 정보가 AI의 이름표를 달고 사내에 흩뿌려지는 순간, 전사적인 지식 자산의 신뢰성과 거버넌스는 완전히 붕괴된다. 결국 이 매력적인 도구의 도입을 멈춰 세우고, 향후 철저한 보안 모델 검토와 권한 정책 재설계를 거쳐 전사 ‘공식 RAG 통합 솔루션’ 배포 시점에 맞춰 가장 안전한 아키텍처 위에서 오픈하기로 방향을 틀었다.

현업의 아쉬운 소리를 듣더라도, 당장 눈앞에 보이는 기술의 편리함에 취해 기업의 핵심 자산인 데이터의 통제권을 잃지 않는 것. 그것이 진정으로 기업의 미래를 보호하는 엔터프라이즈의 무거운 통제력이다.

조직의 토양을 다지는 시간, 그리고 진짜 혁신의 준비

팀장이 되어 주도한 이 첫 번째 AX 전환의 단계를 돌아보면, 겉보기에는 화려한 신기술의 향연이 아니었다. 오히려 규정을 다듬고, 서약을 강제하고, 부서를 돌며 끈질기게 설득하고, 당장 쓰기 좋은 기술을 보안을 이유로 막아서는 보수적이고 치열한 ‘보이지 않는 귀찮은 일’들의 연속이었다.

하지만 나는 확신한다. AI의 기업 내 성숙은 정교한 알고리즘을 얼마나 빨리 사다 나르느냐에 달려 있지 않다. 많은 프로젝트들이 AI라는 단어를 만능 해결책처럼 포장하지만, 그 뒤에 쌓여 있는 복잡한 데이터 품질, 거버넌스, 변화관리의 리스크를 다루지 않는다면 결국 거대한 기술 부채라는 '괴물'을 만들어낼 뿐이다.

폭풍처럼 몰아치는 기술의 속도 앞에서 나는 당장의 표면적인 성과를 위한 화려한 도입 대신, 거대한 유기체인 우리 조직 전체가 단단하게 함께 나아갈 수 있는 토양을 다지는 작업부터 시작했다. 거버넌스라는 가드레일을 세우고, 발로 뛰는 변화관리로 전사의 체급을 끌어올리며, 때로는 단호하게 기술을 통제했던 이 제1장의 과정들. 이것은 결국 우리 회사가 AI라는 강력한 무기를 쥐고도 스스로를 베지 않도록 튼튼한 '검집'을 만드는 시간이었다.

물론, 이 모든 과정이 서류상의 계획처럼 차근차근 흘러가지는 않았다. 처음에 이야기 한 것처럼 세상은 생각보다 훨씬 더 빠르게 변하고 있기 때문이다. “완벽한 토양을 다진 뒤 씨를 뿌리겠다”는 이상은, 당장 내일의 기술이 오늘을 구식으로 만드는 현실 앞에서 늘 도전받았다. 거버넌스를 정립하는 동시에, 실질적인 비즈니스 임팩트를 증명해야 했다. 기술이 계속 발전함에도 매일 밤늦게까지 퇴근을 했던 이유도 여기에 있다.

RAG(검색 증강 생성) 기반의 지식 관리 시스템 구축

실제 업무를 수행하는 MCP 기반의 Agentic AI 개발

경영층의 의사결정을 돕기 위한 쉼 없는 보고와 설득 등등...

이 글에 담긴 이야기는, 실제 현장에서 동시다발적으로 벌어진 수많은 전투 중 아주 작은 일부에 불과하다.

기초 공사를 하면서 동시에 초고층 빌딩을 올려야 했던, 그 팽팽했던 시간의 한 단면일 뿐이다.

앞으로 이곳에는 정신없이 가속하는 기술의 속도에 맞서며, 그 기술을 조직 안에서 통제하고 설계하기 위해 현장에서 직접 부딪히며 얻은 인사이트들을 계속해서 기록해 보려 한다.

이 기록들은 화려한 성공담이 아닐 수도 있다. 다만, 엔터프라이즈 AX가 현실에서는 어떤 모습으로 실현되어 가는지를, 그리고 얼마나 치열하게 이루어지는지를 가능한 한 솔직하게 담아내고자 한다.