모든 직원에게 AI 낚싯대를
Copilot과 Joule
AI 아이디어 경진대회의 성공은 네메시스에 예상치 못한 후폭풍을 가져왔습니다.
AI에 대한 직원들의 두려움이 기대로 바뀌면서, AI COE는 전 부서로부터 "우리 팀만의 업무 자동화 툴을 만들어달라"는 요청으로 마비될 지경에 이르렀습니다.
재무팀의 보고서 자동 취합 툴이 성공하자, 영업팀은 "우리도 고객 이메일 자동 분류 툴이 필요하다", 인사팀은 "이력서 스크리닝 툴을 만들어달라", R&D 센터는 "실험 데이터 분석 툴이 시급하다"며 AI COE의 문을 두드렸습니다.
송주환 CIO는 깊은 고민에 빠졌습니다.
물고기가 아닌 낚싯대를
"이런 식으로는 안 됩니다." 송주환은 AI COE 팀원들 앞에서 솔직하게 말했습니다. "우리가 아무리 열심히 일해도, 전사 모든 팀의 요구를 하나하나 맞춤형으로 개발해줄 수는 없습니다."
그는 화이트보드에 큰 원을 그리며 설명했습니다.
"우리가 해야 할 일은 물고기를 잡아주는 것이 아니라, 모든 직원에게 'AI라는 낚싯대'를 쥐여주는 것입니다. 즉, 직원들 각자가 자신의 업무에서 AI를 직접 활용할 수 있는 범용적인 도구를 제공하는 것이 더 시급한 과제입니다."
마침 네메시스는 전사적으로 Microsoft 365를 사용하고 있었고, SAP ERP를 핵심 업무 시스템으로 운영하고 있었습니다. 그리고 최근 이 두 플랫폼에서 혁신적인 AI 비서들이 등장했다는 소식이 들려왔습니다.
바로 Microsoft 365 Copilot과 SAP Joule이었습니다.
AI 비서의 탄생: 챗봇에서 행동하는 AI로
지난 화에서 살펴본 RAG 기반의 챗봇은 사용자의 질문에 대해 내부 문서를 검색하여 정확한 정보를 찾아주는, 매우 유능한 '사내 정보 전문가' 역할을 수행했습니다.
하지만 "지난주 A 프로젝트 회의록 요약해줘"라는 질문에 회의록을 찾아 요약해주는 것과, "A 프로젝트 담당자들에게 다음 주 화요일 오후 2시에 후속 미팅 일정을 잡아줘"라는 요청을 수행하는 것은 완전히 다른 차원의 능력입니다.
전자가 정보를 찾는(Retrieval) 능력이라면, 후자는 행동을 수행하는(Action) 능력입니다.
도구 사용(Tool Use) 능력
AI 비서의 핵심 원리는 LLM에게 '도구를 사용하는 능력'을 부여하는 것입니다.
인간이 이메일을 보내기 위해 아웃룩을 사용하고, 일정을 잡기 위해 캘린더를 사용하듯, LLM도 이러한 외부 애플리케이션과 상호작용할 수 있게 만드는 것입니다.
AI 비서의 작동 방식:
1. 의도 파악: 사용자가 "김 부장님께 보낼 주간 보고서 초안을 작성하고, 내일 오후 3시에 검토 미팅을 잡아줘"라고 자연어로 요청합니다.
2. 작업 분해 및 도구 선택: LLM은 이 요청을 두 가지 작업으로 분해하고, 각 작업에 필요한 최적의 도구, 즉 '문서 작성 앱'과 '캘린더 앱'을 선택합니다.
3. API 호출 계획 수립: LLM은 선택된 앱의 API를 어떻게 호출할지에 대한 '계획'을 세웁니다.
4. 결과 통합 및 보고: 각 앱에서 작업이 완료되면, LLM은 그 결과를 종합하여 사용자에게 최종적으로 보고합니다.
이처럼 LLM은 전체 오케스트라를 지휘하는 '마에스트로' 또는 모든 요청을 적절한 부서로 연결해주는 '교환원'처럼 작동합니다.
AI 비서의 보안: 역할의 분리
많은 리더들이 중요한 질문을 던집니다.
"LLM이 내 캘린더에 접근하고 이메일을 보내려면, 내 ID와 패스워드를 알아야 하는 것 아닌가? 이건 심각한 보안 문제다."
결론부터 말하면, LLM은 절대로 사용자의 ID나 패스워드와 같은 민감한 인증 정보를 직접 다루지 않습니다. AI 비서의 보안은 '역할의 분리'라는 핵심 원칙을 통해 확보됩니다.
- 사용자 인증은 '보안 애플리케이션'의 몫: 사용자는 LLM이 아닌, 회사의 보안 시스템이 적용된 애플리케이션에 먼저 로그인합니다.
- LLM의 역할은 '계획 수립': 사용자의 요청은 텍스트로만 LLM에 전달되고, LLM은 어떤 API를 어떤 정보로 호출해야 하는지에 대한 '실행 계획'만을 수립합니다.
- API 호출은 '보안 애플리케이션'이 대행: 애플리케이션은 LLM에게 받은 '실행 계획'과 자신이 보관하고 있던 사용자의 '보안 토큰'을 가지고 실제 작업을 수행합니다.
LLM은 '똑똑한 기획자'의 역할만 할 뿐, 실제 행동은 '믿을 수 있는 집사' 역할을 하는 보안 애플리케이션이 대신 수행하는 것입니다.
두 개의 AI 비서: 지식 업무와 핵심 업무
송주환은 시장을 조사하며 두 가지 대표적인 AI 비서를 발견했습니다.
하나는 모든 직원이 매일 사용하는 Office 도구를 혁신하는 Microsoft 365 Copilot, 다른 하나는 기업의 핵심 신경망인 ERP 시스템을 혁신하는 SAP Joule이었습니다.
Microsoft 365 Copilot: DX의 종착역에서 AIX의 출발점으로
지난 수년간 많은 기업들에게 디지털 전환(DX)의 최종 목표는 전사적으로 Microsoft 365와 같은 클라우드 기반의 협업 도구를 도입하는 것이었습니다.
하지만 Microsoft 365 Copilot의 등장은 이 패러다임을 완전히 바꾸어 놓았습니다.
Copilot은 M365를 DX의 종착역이 아닌, AI 전환(AIX, AI Transformation), 즉 '지능 전환'의 출발점으로 재정의합니다.
DX가 단순히 '도구'를 바꾸는 것이었다면, AIX는 Copilot이라는 지능을 활용해 '일하는 방식' 자체를 근본적으로 바꾸는 것입니다.
Copilot의 가장 큰 강점은 워드, 엑셀, 파워포인트, 아웃룩, 팀즈 등 대부분의 지식 노동자가 매일 사용하는 Microsoft 365 애플리케이션 생태계 안에 완벽하게 통합되어 있다는 점입니다.
사용자들은 새로운 프로그램을 배울 필요 없이, 익숙한 업무 환경 안에서 자연스럽게 AI의 도움을 받을 수 있습니다.
Copilot의 실제 활용:
- 정보의 바다에서 길 찾기 (Outlook & Teams): 휴가에서 복귀한 직원이 "지난주 A 프로젝트 관련해서 업데이트된 내용 요약해줘"라고 요청하면, Copilot은 이메일, 채팅, 회의록 등을 모두 분석하여 핵심 변경 사항을 일목요연하게 정리해줍니다.
- 창작의 고통을 덜어주기 (Word & PowerPoint): "지난 분기 영업 실적 보고서를 바탕으로, 다음 주 임원 회의에 발표할 파워포인트 초안을 10장으로 만들어줘"라고 요청하면, Copilot은 문서 내용을 분석하여 발표 자료의 구조와 디자인 초안까지 생성해줍니다.
- 데이터와 대화하기 (Excel): 복잡한 수식에 익숙하지 않은 직원도 "이번 분기 제품별 판매량 추이를 보여주고, 가장 성장률이 높은 제품 3개를 그래프로 그려줘"와 같이 자연어로 요청하면, Copilot이 데이터를 분석하고 시각화 자료를 즉시 만들어줍니다.
SAP Joule: ERP라는 거대한 성벽을 허물다
Microsoft 365 Copilot이 비정형 데이터 기반의 '지식 업무'를 혁신한다면, SAP Joule은 기업의 가장 핵심적인 신경망이자 난공불락의 요새로 여겨졌던 ERP(전사적 자원 관리) 시스템의 데이터를 혁신하는 데 초점을 맞춥니다.
ERP 데이터 접근의 전통적인 문제
SAP와 같은 ERP 시스템은 기업의 모든 운영 데이터가 저장된 '보물 창고'지만, 복잡한 UI와 데이터 사일로로 인해 소수의 전문가만 접근할 수 있는 높은 성벽에 둘러싸여 있었습니다.
Joule, ERP와 대화하게 하다
SAP는 Joule을 "비즈니스를 진정으로 이해하는 AI 코파일럿"으로 포지셔닝합니다.
Joule의 진정한 강점은 단순히 데이터를 조회하는 것을 넘어, SAP의 비즈니스 프로세스 자체를 이해하고 실행한다는 데 있습니다.
예를 들어 "리드타임이 가장 짧은 공급사로 발주서를 생성해줘"라고 요청하면, Joule은 실제 구매 발주(Purchase Order) 트랜잭션을 실행하는 것까지 가능합니다.
실제 사례: 글로벌 기술 기업 보쉬(Bosch)의 파워툴 사업부는 SAP 서비스 클라우드에 Joule을 통합하여, 고객 서비스 요청을 분류하고 해결하는 과정을 자동화했습니다. Joule은 고객의 문의 내용을 분석하여 적절한 담당자에게 티켓을 배정하고, 관련된 기술 자료를 찾아주는 등 서비스 담당자의 업무를 도와 처리 정확도와 속도를 크게 향상시켰습니다.
도입의 현실적 제약
하지만 Joule은 모든 SAP 고객이 바로 사용할 수 있는 마법 지팡이는 아닙니다. Joule의 모든 기능을 제대로 활용하기 위해서는 SAP S/4HANA Cloud의 최신 버전으로의 전환 및 업그레이드가 선행되어야 하는 현실적인 제약이 있습니다.
네메시스의 선택: Copilot 먼저, Joule은 다음 단계로
송주환은 두 가지 AI 비서의 특징을 분석하며 전략적 선택을 내렸습니다.
"우리는 단계적으로 접근합니다. 먼저 모든 직원이 매일 사용하는 Microsoft 365 Copilot을 도입하여 전사적인 AI 활용 문화를 만들고, 그 다음 핵심 업무 시스템인 SAP에 Joule을 적용하는 순서로 가겠습니다."
왜 Copilot 먼저인가?
- 넓은 적용 범위: 모든 직원이 이미 M365를 사용 중
- 빠른 체감: 일상 업무에서 즉시 효과 확인 가능
- 낮은 진입장벽: 새로운 시스템 학습 불필요
- AI 문화 형성: 전사적 AI 활용 경험 축적
파일럿 프로젝트와 가시적인 변화
네메시스는 핵심 부서를 중심으로 Copilot 파일럿 프로젝트를 시작했고, 직원들은 익숙한 워드, 엑셀, 팀즈 안에서 그 위력을 체감하기 시작했습니다. 그들은 Copilot 도입에 따른 효과를 아래와 같이 말하고 있습니다.
영업팀 김민준 과장: 고객 미팅 전 "지난 3개월간 이 고객과 주고받은 이메일 요약해줘"라고 요청하여 준비 시간을 획기적으로 줄였고, 미팅 후 후속 이메일 초안을 Copilot이 작성해주었습니다.
SCM 팀 이수진 대리: 복잡한 엑셀 함수와 씨름하는 대신 "재고 회전율이 낮은 상위 10개 품목을 찾아서 월별 추이를 그래프로 그려줘"라고 자연어로 데이터 분석을 시작했습니다.
생산본부 박성진 부장: 매주 작성하던 생산 현황 보고서 초안을 Copilot에게 맡기고, 자신은 핵심 이슈 분석과 개선 방안 도출에 집중할 수 있게 되었습니다.
'넓고 얕은' 혁신의 성공과 전사 확산
파일럿 프로젝트는 대성공이었습니다.
Copilot은 소수의 전문가를 위한 '좁고 깊은' 혁신이 아니라, 모든 직원의 일상 업무를 돕는 '넓고 얕은' 혁신의 가치를 명확히 보여주었습니다.
네메시스는 Copilot을 전사적으로 확대 도입하며, 체계적인 변화관리 프로그램을 가동했습니다.
- Copilot 챔피언 지정: 각 부서에서 Copilot을 가장 잘 활용하는 직원을 '챔피언'으로 지정하여 동료들을 돕게 했습니다.
- 프롬프트 템플릿 공유: 부서별 Best Practice 프롬프트를 사내 포털에 공유했습니다.
- 주간 뉴스레터: AI COE가 매주 Copilot 활용 팁과 성공 사례를 전파했습니다.
- 정기 교육: 월 1회 'Copilot 마스터 클래스'를 개최했습니다.
AI 경진대회로 시작된 작은 불씨가, 이제 전 직원의 일하는 방식을 바꾸는 거대한 혁신의 파도로 이어지고 있었습니다.
송주환은 전사 확산 현황을 보고받으며 만족스러운 표정을 지었습니다. 하지만 그의 눈은 이미 다음 단계를 바라보고 있었습니다.
"Copilot으로 지식 업무의 혁신은 시작되었습니다. 이제 다음은... ERP입니다. Joule 도입을 검토합시다."
회의실 스크린에는 SAP Joule의 로고가 떠올랐습니다. 네메시스의 AI 여정은 계속되고 있었습니다.