AX란 무엇인가 (3)

AX 여정기 (3) : AI 시대에 IT 리더가 밤잠을 설치는 이유

생성형 AI라는 기술이 세상을 뒤흔든 지 아직 4년도 채 되지 않았다.

하지만 그 사이 우리가 목격한 변화의 속도는 단순히 ‘빠르다’는 말로는 설명하기 어렵다.

어제의 혁신이 오늘의 기본 기능이 되고, 오늘의 아키텍처가 내일이면 구식이 된다.

기술은 이렇게 빠르게 달리고 있는데 그 위에 올라탄 기업의 시스템은 그렇게 빨리 움직일 수 없다.

그래서 요즘 IT 리더들은 종종 비슷한 질문을 스스로에게 던지게 된다.

“우리는 지금 무엇을 만들어야 하는 걸까.”

AI의 진화 속도

처음에는 AI가 그럴듯한 거짓말을 만들어낸다며 ‘할루시네이션(Hallucination)’을 조롱하던 시기가 있었다.

하지만 그다음 단계는 놀라울 만큼 빨리 찾아왔다.

웹 검색을 결합한 웹 그라운딩(Web Grounding)이 등장해 사실 검증 능력을 보완했고, 기업 내부 지식을 연결하는 RAG(검색 증강 생성)가 빠르게 엔터프라이즈 AI의 기본 구조로 자리 잡았다.

그리고 지금은 또 다른 흐름이 시작되고 있다. 스스로 계획하고 행동하는 Agentic AI, 그리고 AI와 외부 시스템을 연결하는 MCP(Model Context Protocol). 여기에 AI Agent 간 협업 모델, Speech-to-Speech 모델, 물리적 로봇에 적용되는 Physical AI까지 등장했다. 기술은 말 그대로 숨 돌릴 틈 없이 진화하고 있다.

세상은 이 속도에 열광한다.

하지만 기업 시스템을 책임지는 입장에서 보면 이 변화는 조금 다른 의미로 다가온다.

솔직히 말하면 꽤 버거운 현실이다.

멈춰버린 시계

요즘 IT 조직이 가장 자주 겪는 딜레마는 이것이다.

프로젝트가 완성되기도 전에 기술이 낡아버린다.

수십억 원을 들여 1년짜리 시스템 고도화를 기획한다.
아키텍처를 설계하고 개발을 진행하는 동안 글로벌 빅테크가 새로운 모델을 발표한다.

그 순간 우리가 만들던 구조 자체가 더 이상 최신이 아니다.

열심히 달리고 있지만 도착하기도 전에 목표 지점이 바뀌어 버리는 느낌이다.

그리고 또 하나의 변화가 있다.

이제는 코딩을 모르는 현업 직원들도 AI를 이용해 앱이나 자동화 툴을 만들어낸다.

프롬프트 몇 줄로 데이터 파이프라인이 만들어지고 간단한 서비스가 작동한다.

개발의 진입장벽은 사실상 무너졌다. 이 변화는 분명 긍정적이다.

하지만 동시에 새로운 현실을 만든다.

무한 경쟁

인간은 원래 멈추는 존재였다.

코드가 컴파일되는 동안 커피를 마셨고, 서버가 배포되는 동안 잠깐 숨을 돌렸다.

하지만 기계는 지치지 않는다. 지금도 수많은 시스템이 토큰을 태우며 24시간 API를 호출하고 있다.

프로그램과 콘텐츠가 쉼 없이 만들어진다.

기술이 물리적 한계를 지워버린 순간, 인간은 역설적으로 잠들지 않는 기계의 템포에 맞춰 생산성을 증명해야 하는 환경에 놓였다.

엑셀러레이터와 브레이크

이 혼란 속에서 기업의 AX(AI 전환)가 마주한 가장 어려운 문제는 단 하나다. 효율성과 보안의 충돌이다.

생산성을 높이기 위해 무분별하게 AI 시스템을 열어주는 순간 기업은 새로운 리스크를 떠안게 된다.

대표적인 예가 NotebookLM이다.

이 도구는 정말 놀랍다. 방대한 문서를 분석하고 인사이트를 뽑아내며 심지어 오디오 콘텐츠까지 생성한다.

생산성만 보면 당장 전사에 도입하고 싶을 정도다. 하지만 엔터프라이즈 환경에서는 이야기가 달라진다.

이런 상황을 상상해 보자.

직원 A가 실수로 기밀문서를 권한이 없는 직원 B에게 공유했다.

B는 업무 효율을 위해 그 문서를 NotebookLM에 업로드했다.

뒤늦게 실수를 깨달은 A가 문서를 삭제했다.

원본 문서는 사라졌지만 B의 NotebookLM 내부에는 RAG 인덱스를 위한 문서 데이터가 남아 있다.

그 결과 B는 AI에게 질문을 던져 그 문서의 내용을 계속 확인할 수 있다.

이론적으로 막는 방법은 간단하다.

원본 문서의 ACL이 변경되는 순간 AI 인덱싱 데이터도 함께 삭제되어야 한다.

하지만 현실의 기술은 사용성에만 집중한 나머지 빅테크 기업임에도 아직 이 수준까지 성숙하지 않았다.

그래서 기업 입장에서는 때로

“도입하는 용기보다 천천히 가더라도 멈춰 세우는 용기”가 더 중요해진다.

MCP는 AI의 축복일까

AI 영역에서 뜨거운 기술 중 하나가 MCP다.

LLM이 로컬 파일, 내부 데이터베이스, 외부 API와 직접 상호작용할 수 있도록 AI간 통신 표준 프로토콜을 통해 동작하게 만드는 기술이다. 생산성 측면에서는 매우 매력적이다.

하지만 이 흐름을 보며 개인적으로 떠오르는 기억이 있다. 바로 ActiveX다.

과거 ActiveX 역시 편의성과 기능 확장을 이유로 빠르게 확산됐다.

하지만 그 강력한 권한은 결국 수많은 악성코드와 해킹의 통로가 되었다.

우리는 그 기술 부채를 정리하는 데 오랜 시간을 써야 했다.

MCP도 비슷한 질문을 던진다.

보안 체계가 필수가 아니라 AI 끼리의 호출 방식만 통일시켰기 때문에 사용성 측면만 강조되어 있다.

이를 부서별로 무분별하게 허용하면 어떻게 될까.

악의적인 인젝션을 통해 내부 데이터를 외부로 유출하는 시나리오도 충분히 가능해진다.

문제는 MCP 레벨의 취약성은 전통적인 네트워크 보안 체계로는 탐지하기가 쉽지 않다.

그래서 기업 환경에서 에이전트 AI를 활용하려면 중앙화된 에이전트 게이트웨이를 통한 제공이 필수이다. 허용된 MCP만 공식적으로 사용하게 하면서 어떤 AI가 어떤 데이터에 어떤 권한으로 접근하고 어디로 데이터를 보내는지를 중앙에서 통제하고 모니터링해야 한다.

AI 시대의 ‘진짜 개발’

요즘 가끔 스스로에게 질문한다.

코딩을 모르는 사람도 프롬프트 한 줄로 앱을 만드는 시대에 IT의 역할은 무엇일까.

과거의 개발은 코드를 작성해 기능을 구현하는 일이었다.

하지만 지금은 조금 다른 것 같다. AI 시대의 개발은 조직이 안전하게 속도를 낼 수 있도록 신뢰와 통제의 구조를 설계하는 일에 가깝다. 현업이 AI의 날개를 달고 날아오를 수 있도록 돕되 그 날개가 녹아내리지 않도록 보이지 않는 가드레일을 세우는 것.

고성능 스포츠카가 시속 300km로 달릴 수 있는 이유는 엔진 때문만이 아니다. 잘 다듬어진 도로와 언제든 차를 멈출 수 있는 강력한 브레이크가 있기 때문이다. 많은 사람들이 토큰을 태우며 기술의 화려함을 이야기할 때 누군가는 조용히 조직의 토양을 다져야 한다.

코딩 자체는 AI가 점점 더 잘하게 될 것이다.

하지만 엑셀러레이터와 브레이크 사이에서 균형을 설계하는 일, 그 거버넌스를 아키텍처로 구현하는 일은 여전히 인간의 몫이다.

그리고 어쩌면 지금 우리가 해야 할 가장 중요한 ‘개발’도 바로 그 일일지 모른다.