AI를 통한 조직의 성숙

기술보다 운영 설계와 실무 통찰의 중요성

AICC 구축 이후 상담원 지원 프로그램이 안정적으로 안착하면서, 회사 안에서는 “AI를 실제로 쓸 수 있다”는 자신감이 확실히 자리 잡았다. 예전에는 새로운 기술을 도입할 때마다 리스크와 비용부터 계산하던 분위기였지만, 이제는 현장에서의 경험이 쌓이면서 AI가 실제로 효율을 만들어내는 순간들을 곳곳에서 목격할 수 있다.

특히 주목할 점은 현업 사용자들의 변화다. 이제는 단순히 AI의 도움을 받는 수준을 넘어, 비즈니스 사용자들이 스스로 프로그램 레벨의 기능을 설계하려는 시도가 눈에 띄게 늘었다. 매크로나 간단한 자동화 스크립트를 만들고, 데이터 연결 구조를 이해하며, 자신의 업무를 최적화하려는 움직임이 자연스럽게 확산되고 있다.
이건 분명 좋은 방향이다. 조직이 AI를 내재화한다는 건, 결국 기술팀이 아닌 현업이 스스로 기술을 익혀가고 있다는 의미이기 때문이다.

그러나 동시에, 기업 환경에서는 이 변화가 보안과 거버넌스의 새로운 과제를 동반한다. AI를 활용한 실험이 개별 단위에서 무분별하게 퍼지면, 데이터 접근권한, 인증, 내부 정책 위반 등 보이지 않는 리스크가 생긴다.
AI는 개방적이지만, 기업은 통제되어야 한다.

따라서 앞으로의 방향은 기술의 자율성과 보안의 안정성을 모두 담보하는 구조, 즉 창의와 통제가 공존하는 조직적 균형의 설계로 나아가야 한다. 전사적으로 Google Workspace 환경이 기반으로 자리 잡은 것도 큰 전환점이었다. GWS for Gemini를 시작으로 Gemini Chat 확산까지, 보안팀과 협력해 명확한 가이드라인을 마련하면서 AI 활용이 제도 안으로 들어왔다. 이제 회의록을 요약하거나 보고서 초안을 정리하고, 데이터 결과를 빠르게 분석하는 일은 더 이상 특별한 능력이 아니다. AI는 어느새 익숙한 업무 도구가 되었고, “AI를 쓴다”는 말조차 꺼낼 필요 없는 시대가 되었다.

이 변화의 흐름을 되돌아보면, 작년에 직접 그려놓았던 AI 전략 장표가 지금의 현실로 구현되어가고 있다는 점에서 큰 보람을 느낀다. 당시에는 단지 방향을 제시하기 위한 계획이었지만, 지금은 그 계획이 조직 전체의 움직임과 맞물리며 실제 구조로 완성되고 있다.

1단계: As-Is — 개별 실험의 시대

초기에는 각 본부와 조직이 저마다의 AI 실험을 시도했지만, GenAI, ML, RPA가 제각각 확산되며 일시적인 성과는 있었으나 관리의 어려움과 중복투자가 뒤따랐다. AI 활용은 있었지만, 전략적 통합이 없었다. 당시의 한계는 “기술의 도입”이 “조직의 변화”로 이어지지 못했다는 데 있었다. AI는 존재했지만, 아직 조직은 준비되지 않았다.

[ 분산된 AI 사용으로 인한 관리 문제 ]

2단계: To-Be Basic — 체계적 확산의 시작

그다음 단계에서는 Google Workspace를 기반으로 한 일상적 GenAI 활용이 뿌리를 내리기 시작했다.
회의록 자동 요약, 이메일 초안 생성, 매뉴얼 기반 응대 자동화 등 업무 흐름의 여러 부분에서 AI가 실제 효율을 만들기 시작했다. 이 시기부터 “AI가 실제로 일의 속도를 바꾼다”는 확신이 생겼고, AI는 ‘특별한 기술’이 아닌 ‘필수 인프라’로 자리 잡았다. 다만 이 단계에서 우리가 마주한 과제도 명확했다.

당시 계획의 하나였던 NotebookLM 도입은 사내 정보 공유 속도를 혁신적으로 높일 수 있다는 기대가 있었지만, 실제 검토 과정에서 엔터프라이즈 환경의 현실적인 제약이 드러났다. 문서 공유 및 정보 확산이 너무 빠르고, 접근 통제가 제대로 작동하지 않는 상황에서는 데이터 보안과 기밀 유지가 어려웠다.

결국 NotebookLM 은 현재까지도 보류 중이며, 보안 모델과 권한 정책을 정교하게 재설계하는 작업이 지속되고 있다. 이는 AI 도입이 항상 ‘기술의 속도’보다 ‘조직의 통제력’과 함께 논의되어야 함을 보여주는 사례였다. AI 도입은 쉽지만, 운영 책임은 무겁다 — 그 교훈이 이 단계에서 확실히 자리 잡았다.

[ 비즈니스 AI 전사 확산 계획 ]

[ 회사 전체의 AI 성숙도 확산 ]

3단계: To-Be Advanced — 운영 철학의 성숙

현재 우리는 AI 거버넌스와 영역별 책임 구조가 정립되는 시기에 와 있다. AI가 조직 전체의 생태계 안에서 관리되고, 업무별 특성에 맞춰 분화되는 모습은 단순한 기술의 진보가 아니라 운영 철학의 성숙을 의미한다. AI Governance 체계를 통해 ML, Custom AI, Innovation 영역이 분리되고, 각 부문 담당자가 직접 관리하는 체계로 발전하면서 AI의 지속 가능성이 확보되었다. 이제 AI는 더 이상 “도입의 문제”가 아니라 “운영의 철학”으로 다뤄지고 있다.

이번 주에는 세 건의 대형 프로젝트에서 AI 관련 검토를 진행했다. 모두 RAG 기반 검색과 요약 기능을 중심으로 한 시스템이었고, 이제 이런 주제는 더 이상 낯설지 않다. AI가 거창한 혁신의 상징으로만 존재하던 시기를 지나, 실제 운영 속에서 점차 현실화되고 있다.

그러나 여전히 많은 프로젝트가 ‘검토’ 단계에서 멈춘다. 표면적으로는 발전처럼 보이지만, 실제 서비스로 이어지는 경우는 드물다. 이건 기술의 문제가 아니라 태도의 문제다. AI를 ‘도입했다’는 사실에 만족해 버리면, 그 순간부터 기술은 정지한다. 운영 현장에서 조금이나마 AI를 실질적으로 적용할 수 있었던 이유는 분명하다. AI가 해야 하는 일과 사람이 해야 하는 일을 명확히 분리했기 때문이다.

많은 사람들이 RAG의 아키텍처나 모델 성능에 집중하지만, 실제 중요한 건 그 위에 쌓이는 문서의 품질과 클렌징, 규칙의 정의, 자동화의 설계, 그리고 이후의 변화관리다. 이 부분에 대해서는 어느 회의에서도 깊이 논의되지 않는다.

그 이유는 명확하다. 보이지 않는 귀찮은 일들이기 때문이다. 제대로 된 개발자는 신기술의 화려한 이름보다 고객의 니즈를 먼저 이해한다. 그다음에 우리가 해결할 수 있는 최적의 기술을 고민하고, 데이터 모델링과 API 구조부터 손을 본다. 이후 인프라를 안정화하고, 초기에 정의했던 문제를 UI와 UX로 풀어나간다.

그게 진짜 개발의 본질이다. 하지만 요즘의 현실은 다르다. 많은 프로젝트 미팅에서 AI라는 단어는 만능 해결책처럼 쓰인다. 당장의 문제를 “AI로 해결할 수 있다”라고 말하지만, 그 뒤에 쌓여 있는 복잡한 구조적 문제, 데이터 품질, 자동화의 설계, 유지보수의 리스크는 아무도 다루지 않는다. 결국 프로젝트는 끝나고, 담당자는 떠나지만, 그 뒤의 무게는 운영자에게 남는다. 프런트엔드에는 임시 예외 처리 코드가 쌓이고, 시스템은 점점 더 복잡하고 관리하기 어려운 구조로 변해간다. 그렇게 또 하나의 ‘괴물’이 만들어진다.

[ 정답을 말하면 불편해지는 세상 ]

AI를 오래 다루면 다룰수록 확신이 하나 생긴다. 앞으로 진짜로 남는 것은 UX와 기업 고유의 지식이 담긴 데이터뿐이다. 모델은 바뀌고, 플랫폼은 바뀌며, 새로운 기술은 계속 등장하겠지만, 사용자 경험과 데이터의 정체성은 그 기업만의 자산으로 남는다.

그런데 정작 이 가장 중요한 자산의 가치를 이야기하는 사람은 여전히 많지 않다. AI는 더 이상 “도입 여부”의 문제가 아니다. 이제 중요한 것은 AI가 비즈니스 프로세스 안에서 어떤 역할로 설계되느냐다. 효과적인 AI 활용은 단순히 반복 업무를 대체하는 데서 나오지 않는다. AI가 개입해야 할 순간은 ‘인간의 판단이 정체되는 지점’, 즉 정보는 많지만 결정이 어려운 구간이다.

그 구간에서 AI가 데이터를 정리하고, 맥락을 시각화하고, 의사결정을 지원할 수 있다면 그때 비로소 기술은 단순한 자동화가 아니라 업무 효율의 구조적 재설계가 된다. 기업 환경에서 AI가 안정적으로 자리 잡기 위해서는 세 가지 조건이 충족되어야 한다.

첫째, 프로세스의 명확한 정의 — AI가 개입할 단계가 불분명하면 실패한다.
둘째, 데이터의 신뢰성 확보 — 정제되지 않은 데이터 위의 AI는 결국 또 다른 오류를 낳는다.
셋째, 사람의 역할 재정의 — AI가 하는 일과 사람이 해야 하는 일의 경계를 분명히 해야 한다.

이 세 가지가 균형을 이루지 않으면, 조직은 “AI를 쓴다”는 착각 속에서 더 복잡해질 뿐이다.

AI의 성숙은 정교한 알고리즘이 아니라, 비즈니스를 얼마나 깊이 이해하고 그 안에 AI를 적절히 배치할 수 있느냐의 문제다. 잘 설계된 AI는 시스템이 아니라, 업무 자체의 품질을 향상하는 운영 도구다.

그렇기에 AI의 미래는 기술의 진화보다도 운영 설계와 실무 통찰의 깊이에 달려 있다. AI는 기업의 거울이 아니라, 기업의 일하는 방식을 반영하고 재구성하는 동반자다. AI를 제대로 활용하는 조직은 기술을 도입하는 곳이 아니라, 문제를 끝까지 이해하고 그 해결의 구조를 함께 설계할 줄 아는 조직이다. 그리고 그 구조적 이해 위에서만 확장성과 안정성이 함께 자랄 수 있다.