마이크로소프트의 전방위 AI전략
애저 OpenAI 서비스와 365 제품의 코파일럿 전략을 알아본다.
이 글은 제가 NIA [한국지능정보사회진흥원]의 < 디지털서비스 이슈리포트 > 2023년 3월호에 기고한 글입니다. 원본 글 '마이크로소프트의 전방위 AI전략'을 이곳 브런치에서도 공유합니다.
0. 들어가며
2023년 3월의 기술 키워드는 어떤 모든 주제보다 압도적인 ‘생성형 AI (Generative AI)’다. AI라는 주제가 이세돌과 알파고의 대결로 귀에 익숙해졌다면, 지난해부터의 DALL-E나 챗GPT는 일반 사람들이 생활에서 인공지능이란 것을 실제 느끼게 해 주는데 크게 기여를 했다. 과거에도 인터넷, 웹 브라우저, 모바일과 같은 기술의 폭발력을 경험하는 시기가 올 때마다 테크 업계에서 회자되는 이야기가 있다. ‘기술 혁명은 프로덕트에서 마무리가 된다’라는 말인데, 이 말은 ‘구슬이 서 말이어도 꿰어야 보배’라는 뜻과 상통한다.
즉 핵심기술은 그 자체로 사용자에게 다가가기엔 너무 거칠고 어렵기에, 그것이 사용자가 사용하는 제품이나 서비스에 효율과 생산성으로 나타나기 전까지는 그냥 신포도로 남게 된다. 새로운 초거대 언어모델과 서비스가 하루에도 몇 개씩 나오는 세상이지만, 아직도 극소수 프로들의 세상이다. 공기처럼 이용되는 AI는 그것이 어떻게 나의 일상 업무과 학습에 도움을 주는지를 경험하지 않으면 뿌리내리기 쉽지 않다.
그런 면에서 지난 50년간 최고 품질의 사용자 제품과 서비스를 제공해 왔고 이런 변화의 시기에도 가장 앞선 행보를 보여주고 있는 마이크로소프트의 AI전략을 살펴보는 것은 멀지 않은 시간에 경험하게 될 컴퓨터로 일하는 방식을 이해하는데 도움이 될 것이다. 최근의 가장 큰 변화는 마이크로소프트의 최상위 프런트엔드 프로덕트 라인인 365에 코파일럿(Copilot)이라는 새로운 챗봇의 발표와 백엔드 애저 클라우드 서비스에 OpenAI서비스 출시에 있다. 밑의 그림의 구조도를 보고 좀 더 자세한 설명을 이어가기로 한다.
그림 1. 마이크로소프트 클라우드 서비스 구조도 (출처: 마이크로소프트)1. 마이크로소프트 365-코파일럿(Copilot)
지난 3월 16일 마이크로소프트는 오피스라고 널리 알려진 구독형 서비스 365에서 코파일럿이라는 새로운 챗봇 서비스가 제공되는 프로덕트를 공개했다. 코파일럿은 거대 언어 모델(LLM)의 강력한 기능과 일정, 메일, 채팅, 문서, 모임 등을 관리하는 마이크로소프트 그래프 및 365 앱의 데이터를 결합하고 사용자의 자연언어를 처리하여 365를 강력한 생산성 도구로 만들어 준다. 거대 언어모델인 GPT-4의 놀라운 성능에 마이크로소프트가 이미 확보한 마이크로소프트 365 앱 데이터를 결합해 생산성을 높인다는 설명이다.
위의 구조도에 덧붙여 코파일럿이 어떻게 구성되어 동작하는지를 먼저 이해해 보자.
1.1 코파일럿 동작 구조
코파일럿의 동작은 다음 3개의 기본 컴포넌트 간 커뮤니케이션으로 일어난다. 365 앱, 365 데이터를 구조화해 주는 마이크로소프트 그래프, 그리고 그것을 자연어로 연결해 줄 LLM이다.
그림 2. 마이크로 365 코파일럿 동작 구조 (출처: 마이크로소프트)그림에서 각각 다른 색 동작 순서를 구분했으니 다음 설명과 함께 보도록 하자.
① 365 앱에서 사용자의 프롬프트로 호출되어 코파일럿은 접지(Grounding)라는 접근 방식을 통해 프롬프트를 사전 처리한다. 접지는 프롬프트의 품질을 개선하여 관련성 있고 실행 가능한 답변을 얻을 수 있도록 한다. 접지 작업에서 가장 중요한 부분은 비즈니스 콘텐츠와 콘텍스트를 검색하기 위해 그래프를 호출하는 것이다.
② 코파일럿은 그래프의 이 사용자 데이터를 다른 입력과 결합하여 프롬프트를 개선한다. 그 후 수정된 프롬프트를 LLM으로 보낸다.
③ 챗GPT 또는 Bing 채팅에 대한 경험을 바탕으로 LLM이 무엇을 할 수 있는지 판단하고 코파일럿은 LLM의 응답을 받아 그래프에 대한 추가 접지를 호출하고, 책임 있는 AI 검사, 보안, 규정 준수 및 개인정보 보호 검토, 명령 생성 등을 수행한다.
④ 마지막으로 Copilot은 사용자에게 응답을 보내고 앱에 다시 명령을 내린다.
코파일럿은 이러한 서비스를 반복적으로 처리하고 지휘하는 시스템으로 단순히 명령을 주고받는 메신저 역할을 넘어선다. 365 앱에 있는 수만 개의 명령어, 그래프에 있는 수조 개의 신호, LLM에 있는 수십억 개의 매개 변수가 처리대상이 된다. 코파일럿은 워드, 엑셀, 파워포인트, 아웃룩, 팀즈부터 비바, 및 파워플랫폼, 파워 오토메이트에 이르기까지 모든 365 앱에 적용될 예정으로 소프트웨어와 상호 작용하는 업무 방식에 큰 변화를 가져올 것으로 예상한다.
1.2 마이크로소프트 365내의 코파일럿
워드에서는 문서를 쓰는 동안 코파일럿 창을 옆에 열어두고, 도움을 받아 글을 쓰고, 편집하고, 요약할 수 있을 뿐만 아니라 기능이 놀라웠던 부분은 업무의 진정한 가치인 ‘창의력을 발휘하는 방식’이 코파일럿에 도입됐다는 것이다. 문서 상단에 간단한 요약을 포함할 수도 있고, FAQ를 자동으로 추가를 제안하고, 자동으로 생성해 준다.
그림 3. 코파일럿이 워드에서 문서의 속성과 관련된 제안을 한다.파워포인트 발표 슬라이드를 만들어 달라고 요청할 수 있으며 엑셀에서는 데이터 분석을 요청해 인사이트 얻거나 분석 전문가 수준의 분석리포트를 만들 수도 있다. 아웃룩에 통합된 코파일럿은 받은 편지함을 우선순위에 따라 통합하여 관리하고, 맥락에 맞는 이메일 작성을 도와주고, 팀즈에서는 미팅 실시간으로 참석자와의 대화 내용을 실시간으로 요약 제공하여 생산성을 높이는 일이 가능하다.
사실 업무 환경에서 365와 같은 생산성 앱의 가치는 앱 간의 원활한 정보 공유를 들 수 있는데, 이 부분에서 코파일럿의 역할도 크게 눈에 띄는 부분이다. 즉 코파일럿을 사용하면 워드문서에 몇 가지 간단한 지침을 제공함으로 파워포인트 슬라이드로 변환할 수 있다. 이 지점에서 놀라웠던 점은 단순히 새로운 슬라이드를 생성해 주는 것을 넘어 발표자 메모까지 생성해 준다는 점이었다.
그림 4. 워드-파워포인트 이동이 자유롭고, 문맥에 맞는 발표자 메모를 생성한다.코파일럿이 먼저 소개된 GitHub 조사[1] 에 따르면 코파일럿을 사용하는 개발자 중 88%는 생산성이 향상되었다고 답했고, 74%는 더 만족스러운 작업에 집중할 수 있다고 답했으며, 77%는 정보나 예제를 검색하는 데 소요되는 시간을 줄이는 데 도움이 된다고 답을 했다. 생산성이 가장 중요한 KPI가 되는 비즈니스 영역에서의 365 코파일럿 사용 데모는 비바 세일즈 (Viva Sales)와 루프(Loop)를 통해 다이내믹스 365와 세일즈포스 CRM데이터와의 연계를 너무 간단하게 보여주어 큰 가치를 확인하지는 못했지만, 코파일럿의 다음 행보는 분명 비즈니스 프런트 앱인 파워플랫폼 전반에 통합될 것으로 보여진다.
2. 애저 OpenAI 서비스
위에서 코파일럿의 동작구조를 설명했지만, 코파일럿이 마이크로소프트 제품에 특화된 서비스라면, 다른 기업에서는 어떻게 비슷한 서비스를 이용하거나 구현할 수 있을까? 답은 애저 클라우드에서 OpenAI의 서비스를 통해 Dall-E 2, GPT-3.5, Codex 및 기타 거대 언어 모델을 사용하는 것이다. 이런 OpenAI의 고유 서비스를 하이퍼 스케일러 플랫폼에서는 유일하게 애저만이 지원하고 있다.
2.1 OpenAI + 애저 클라우드 서비스
작년 말 챗GPT가 도입된 이후 콘텐츠 요약, 추천 이메일 생성, 소프트웨어 프로그래밍 질문 지원 등 다양한 시나리오에 사용할 수 있는 것을 확인되었다. 애저 OpenAI 서비스에서 제공되는 챗GPT를 통해 개발자는 기존 봇을 개선하여 예상치 못한 질문을 처리하고, 콜센터 대화를 요약하여 고객 지원 문제를 더 빠르게 해결하고, 개인화된 제안으로 새 광고 문구를 만들고, 업무 처리를 자동화하는 등 사용자 지정 AI 기반 환경을 자체 애플리케이션에 직접 통합할 수 있다. 그러나 엔터프라이즈 애플리케이션과 관련하여 기업 리더의 관점에서 가장 관심이 높은 것은 ‘기업 자체 데이터를 응답의 기반으로 사용하는 챗GPT와 같은 것을 어떻게 구축할 수 있는가"이다.마이크로소프트 역시 애저 OpenAI서비스를 오픈할 때는 이런 질문이 가장 중요한 해결 포인트라는 것을 이해하고 있다. 이 부분은 애저 인지 검색(Cognitive Search)과 애저 OpenAI서비스를 결합하여 기업 데이터 위에서 지식 기반 검색에 대화형 언어를 사용할 수 있다.[2]
그림 5. 애저OpenAI서비스를 이용하여 기업용 챗GPT 구현 방법위의 그림을 보면, ‘App Server, Orchestrator’라는 부분이 마이크로소프트의 코파일럿의 역할을 하는 것이라는 것을 알아볼 수 있다.
이렇게 크고 작은 조직에서 비즈니스 가치를 달성하기 위해 애저 OpenAI 서비스를 사용하는 방법 외에도 마이크로소프트는 내부적으로 OpenAI의 대규모 언어 모델과 애저 인프라를 결합한 다음과 같은 서비스를 제공하고 있다.
•깃헙 코파일럿(GitHub Copilot): 개발자가 AI 페어 프로그래머를 사용하여 코드 개발을 가속화할 수 있도록 Azure OpenAI Service의 AI 모델을 활용한다.
•팀즈 프리미엄(Teams Premium): 개인, 팀, 조직의 생산성을 높이는 데 도움이 되는 지능형 요약(recap)과 AI생성챕터가 포함되어 있다.
•비바 세일즈(Viva Sales): 제안된 이메일 콘텐츠와 데이터 기반 인사이트를 제공하여 영업팀이 고객에게 전략적인 판매 모션에 집중할 수 있도록 지원한다.
•빙(Bing): 소비자의 검색 환경을 개선하기 위해 AI 기반 채팅 옵션을 도입했다.
그림 6. 빙(Bing)에서의 챗GPT서비스와 코파일럿 기능또한 애저 OpenAI 스튜디오(Azure OpenAI Studio)는 노 코드 방식으로 앱과 솔루션을 만들 수 있는 환경을 제공한다. 이 서비스를 통해 제공되는 모든 모델에 대해 사용자 지정 기능을 제공할 뿐만 아니라 챗GPT를 사용자 지정하고 조직에 맞는 응답 동작을 구성할 수 있는 고유한 인터페이스도 제공한다.
그 외에 애저 OpenAI 서비스로 무엇을 할 수 있을까? 일반적으로 네 가지 정도의 범주에서 다루어지지 않을까 예상한다.
① 콘텐츠 생성(Content Generation)
a. 고객 문의에 대한 응답 자동 생성
b. 웹사이트의 개인화 콘텐츠 생성
② 요약(Summarization)
a. 고객 지원 대화 요약
b. 문서 요약(예: 재무 보고서, 애널리스트 기사)
c. 소셜 미디어 트렌드 요약
③ 코드 생성(Code Generation)
a. 원격 분석(telemetry) 데이터를 위해 자연어를 SQL로 변환(또는 그 반대)
b. 독점 데이터 모델을 쿼리하기 위해 자연어를 변환.
c. 코드 문서화
④ 시맨틱 검색(Semantic Search)
a. 특정 제품 또는 서비스에 대한 리뷰 검색
b. 정보 검색 및 지식 마이닝
마무리
AI의 서비스가 나올 때마다 동시에 그것의 윤리성, 책임성, 신뢰성이 토론 테이블 위에 오른다. 선도기업으로서 마이크로소프트 역시 AI가 사람과 기업에 미치는 영향을 목격하고 있으며, 책임감 있게 개발되고, 의도한 대로 작동하며, 사람들이 신뢰할 수 있는 방식으로 사용될 수 있다는 점을 강조한다.
그러나 챗GPT 또는 DALL-E 이미지 생성 모델과 같은 생성 모델은 새로운 인공물을 생성하는 모델이기에 이러한 유형의 모델은 잘못된 텍스트를 생성하기도 하고, 실제로 일어나지 않은 사실적인 이미지를 생성할 수도 있는 등 새로운 문제를 야기한다.
새로운 문제가 발생한다고 피하거나 멀리할 수 있는 기술은 아니다. 앞으로 AI가 기존의 업무 방식과 조직의 운영 방식을 크게 변화시킬 것이다. 개인이 AI의 도움을 받을 수 있는 것처럼 AI는 이를 사용하는 사람에 따라 긍정적으로 또는 부정적으로 영향을 받을 것이다. 인류에게 가장 매력적인 자연어 인터페이스를 통해 우리의 업무환경은 또 한 번의 혁신을 기대해도 될 것이다.
[1] Github, “Research: quantifying GitHub Copilot’s impact on developer productivity and happiness”, Sep 7, 2022
[2] Tech Community Microsoft, “Revolutionize your Enterprise Data with ChatGPT”, Mar 09, 2023
