드림포스2023을 통해 본 데이터 클라우드와 AI 시장
이 글은 제가 NIA [한국지능정보사회진흥원]의 < 디지털서비스 이슈리포트 > 2023년 10월호에 기고한 글입니다. 원본 글 '드림포스 2023을 통해 본 데이터 클라우드와 AI 시장 변화'을 이곳 브런치에서도 공유합니다.
들어가며
CRM을 주축으로 한 비즈니스 애플리케이션을 공급하는 세일즈포스의 사용자 컨퍼런스인 드림포스 2023이 지난 9월에 열렸다. 업계에서 “올해 최대 규모의 AI 행사”라는 말에 걸맞게 3일 동안 약 1,500개의 세션에 4만 명 이상이 참석했다. 이 행사를 통해 세일즈포스는 인공지능과 클라우드 제품 및 서비스 전반에 걸친 통합과 협업에 대한 의지를 보여주었다.
드림포스 2023의 하이라이트는 역시 인공지능이었는데, 새로운 제품 발표를 할 때마다 공통적으로 클라우드 기반 기술이 신뢰 및 보안과 함께 진행되어야 함을 강조했다. 신뢰가 전제된 기술을 이야기하면서 통합, 지능화, 자동화를 위해 코드가 필요 없는 개방형 로우 코드를 지향한다고 발표했다.
글로벌 디지털 B2B 시장에 강력한 영향력을 만드는 세일즈포스의 새로운 전략과 제품을 이해하는 것은 단순히 새 제품에 대한 기대와 관심을 넘어 더 나은 업무 방식을 설계하는 것이며, 기업이 최고의 업무 성과를 낼 수 있도록 디지털 환경을 개선하는 데 필요한 일이다. 예를 들어 최근 맥킨지 리포트[1]에 따르면, 생성형 AI 기술로만 4조 4천억 달러에 해당하는 생산성 향상을 가져올 수 있을 것으로 추정했는데, 여기에는 개인 사용자보다 기업이 세 배 이상의 영향력을 미칠 것이고, 비즈니스 기능 중 특히 마케팅/영업, 고객 운영, 소프트웨어 엔지니어링, 연구 개발 등 4개 부문이 총가치의 75%를 차지할 것으로 예상하고 있다. 그렇기에 그 전환을 대비하는 것은 기업의 생존력 강화에 필수적이다.
그림 1. 생성형 AI의 산업별 영향력 (출처: 맥킨지)드림포스 2023의 주요 발표 4가지를 살펴보면서 그것이 가진 의미에 대해서 살펴보자.
핵심 발표 4가지
1) 아인슈타인(Einstein) 1 플랫폼
세일즈포스 데이터 클라우드와 아인슈타인 AI 기능을 통합한 아인슈타인 1 플랫폼을 발표했다.
이것은 세일즈포스의 기본 메타데이터 프레임워크를 기반으로 구축되어 모든 데이터를 안전하게 사용하여 로우코드로 앱을 만들고 그 위에서 새로운 CRM 경험을 제공할 수 있도록 지원한다.
상당히 의미가 있는 발표이다.
일반적인 기업의 고객 데이터는 매우 파편화되어 있는데 평균적으로 1,061개의 다른 애플리케이션을 사용[2] 하고 있고, 그 중 29%만이 통합되어 있다. 엔터프라이즈 데이터 스택은 클라우드 전환 이후 더욱 복잡해졌으며, 소셜, 모바일 등 이전의 디지털 혁명은 고객 데이터의 방대한 사일로를 만들어냈다. 고유한 메타데이터 프레임워크는 기업이 애플리케이션 전반에서 쉽게 데이터를 구성하고 이해할 수 있도록 지원하며, 플랫폼에 구축된 서로 다른 애플리케이션이 통신할 수 있도록 공통 언어를 사용하는 것과 같다. 이제 서로 다른 시스템에서 데이터의 구조와 출처에 관계없이 기업 전체에서 데이터 통합 뷰를 생성할 수 있다. 아인슈타인 1 플랫폼은 슬랙, 태블로, 구글 워크스페이스, 마이크로소프트 365, 뮬소프트, 헤로쿠 (Heroku), 캔버스(Canvas)와 통합할 수 있다.
이를 통해 기업은 AI 예측 및 콘텐츠 생성을 위한 아인슈타인, 자동화를 위한 플로우(Flow), 사용자 인터페이스를 위한 라이트닝(Lightning) 등 다양한 로우코드 플랫폼 서비스를 사용하여 사용자 경험을 커스터마이즈하고 데이터를 공유한다. 기존에는 이런 커스터마이즈 작업이 비용이 많이 들고 애플리케이션 간 통합 코드 작성이 어려운 부분이었기에 기업으로서는 매우 반가운 기능이 될 것이다.
그림 2. 다수의 시스템 데이터를 통합한 고객 프로필의 예세일즈포스는 자동 업그레이드를 1년에 세 번 제공할 예정이고, 통합의 기본이 되는 메타데이터 프레임워크는 데이터 병합과 보안의 안정성을 보장한다.
2) 아인슈타인 코파일럿(Copilot)과 코파일럿 스튜디오(Copilot Studio)
아인슈타인 코파일럿은 세일즈포스의 생성형 AI 대화 어시스턴트다. 이 어시스턴트는 데이터 클라우드를 사용하여 사용자와 자연어 대화를 나누고 신뢰할 수 있는 답변을 제공한다. 아인슈타인 코파일럿은 세일즈포스의 기본 서비스 섹션과 통합되어 있기 때문에 일상적인 작업을 넘어 문구 작성, 계정 정보 업데이트, 고객용 이메일 생성, 카탈로그 관리, 제품 설명 작성 등 다양한 업무 요구에 자동화를 적용할 수 있다. 다시 설명하면 사용자는 업무 프로세스 내에서 자연어로 질문하고 데이터 클라우드의 기업 데이터를 기반으로 관련성 있고 신뢰할 수 있는 답변이나 추가 옵션을 받아 생산성을 높일 수 있다. 아인슈타인 코파일럿은 OpenAI언어 모델을 기반으로 구축되었지만, OpenAI의 챗GPT를 단순히 카피한 버전은 아니다. 오히려 2016년에 출시한 아인슈타인을 OpenAI로 강화하고, 자체 데이터 클라우드를 주 지식 베이스로 사용하여 세일즈포스의 슬랙을 포함한 다른 애플리케이션과 통합한 버전이라고 할 수 있다.
그림 3. 고객 대응 업무중 코파일럿 이용 예아인슈타인 코파일럿 스튜디오는 프롬프트 빌더, 스킬 빌더, 모델 빌더 등 세 가지 핵심 요소를 통합하여 기업이 AI 기반 영업 애플리케이션을 보다 쉽게 구축할 수 있도록 도와주는 툴 키트다. 새로운 AI 기반 앱을 구축하여 판매 거래를 빠르게 성사시키고, 고객 서비스를 간소화하고, 개인화된 검색 기록을 기반으로 웹사이트를 자동 생성하거나, 자연어 프롬프트를 코드로 변환하는 등 수백 가지의 비즈니스 작업을 수행할 수 있다. 또한 코파일럿 스튜디오는 웹사이트와 같은 소비자 대면 채널에서 실시간 채팅을 지원하거나 슬랙, 왓츠앱, SMS와 같은 메시징 플랫폼과 통합할 수 있는 기능을 제공하고 있다.
그림 4. 코드 없이 프롬프트를 생성하는 코파일럿 스튜디오이 코파일럿과 코파일럿 스튜디오의 의미는 아인슈타인 1 플랫폼에 기본적으로 구축된 트러스트 레이어 내에서 운영되며, 이를 통해 팀은 기업의 개인정보 보호 및 보안 표준을 유지하면서 생성형 AI의 이점을 누릴 수 있다는 데 있다.
메타 데이터 프레임워크는 머신 러닝 알고리즘이 작동하는 유연하고 동적이며 컨텍스트가 풍부한 환경을 지원함으로써 빠르고 신뢰할 수 있는 AI 경로를 제공한다. 메타데이터는 시스템 내 데이터의 구조, 관계, 동작을 설명하기 때문에 AI 모델은 고객 상호 작용, 비즈니스 프로세스, 특정 상호 작용의 결과를 더 잘 이해할 수 있다. 전통적으로 이 부분은 데이터 과학자나 분석가의 고부가가치 작업에 해당한다. 그리고 이러한 결과를 바탕으로 대규모 언어 모델을 미세 조정하면서 지속적으로 개선되는 결과를 제공할 수 있다.
그림 5. 안전한 프롬프트처리를 위한 트러스트 레이어 동작 구조3) 데이터 클라우드(Data Cloud)
세일즈포스 클라우드의 핵심인 실시간 하이퍼스케일 엔진 데이터 클라우드는 고객 데이터, 기업 콘텐츠, 텔레메트리 데이터, 슬랙 메시지 및 기타 정형 및 비정형 데이터를 통합하여 사용자에게 단일 데이터 뷰를 생성한다. 이 플랫폼은 이미 매월 30조 건의 트랜잭션을 처리하고 있으며 매일 1,000억 건의 레코드 연결과 통합을 하고 있다.
그림 6. 다수의 데이터소스로부터 단일 뷰를 제공하는 데이터 클라우드이 데이터 클라우드의 의미는 꽤 크다. 데이터 클라우드가 아인슈타인 1 플랫폼과 기본적으로 통합되면서 사일로화된 데이터를 활용하여, 통합된 고객 프로필을 생성하고 다음과 같은 완전히 새로운 비즈니스 경험을 제공할 수 있다.
1) 대규모 데이터: 아인슈타인 1 플랫폼은 고객당 수천 개의 메타데이터 지원 객체를 지원하도록 확장되었고, 각 객체는 수조 개의 행을 가질 수 있다. 또한, 소비자 경험이 풍부한 제품인 마케팅 클라우드와 커머스 클라우드가 아인슈타인 1 플랫폼에 통합되었다.
2) 규모에 맞는 자동화: 이제 방대한 양의 데이터를 다른 시스템에서 아인슈타인 1 플랫폼으로 가져와 즉시 실행 가능한 개체로 사용할 수 있다. 자동화 프로세스 툴인 Flows는 IoT 장치에서 발생하는 이벤트, 계산된 인사이트, AI 예측 등 모든 개체의 변경 사항에 의해 트리거 될 수 있고, 초당 최대 20,000개의 이벤트가 기업 내 모든 시스템과 상호 작용할 수 있다.
3) 규모에 맞는 분석: 리포트와 대시보드, 태블로, CRM 분석, 마케팅 클라우드 보고서 등 다양한 사례를 위한 인사이트 및 분석 솔루션을 제공한다. 아인슈타인 1 플랫폼의 공통 메타데이터 스키마 및 액세스 모델을 사용하면 동일한 데이터에서 작업할 수 있으므로 인사이트 교환이 효율적으로 이루어진다.
4) 파트너십: 구글, 데이터브릭스, 스노우플레이크, AWS
세일즈포스와 구글의 파트너십이 발표되었다. 구글은 아인슈타인 코파일럿을 최초로 도입하고, 구글의 Duet AI는 세일즈포스 클라우드에서 동작하게 된다. 지메일, 구글 닥스/시트, 구글 밋, 캘린더와 같은 구글 워크스페이스에서 생성된 콘텐츠와 데이터는 세일즈포스 클라우드 내의 애플리케이션 워크플로우를 트리거하고 레코드를 업데이트하는 데 사용할 수 있다. 즉 이런 프로세스는 양방향으로 이루어지므로 세일즈포스 CRM 계정 데이터를 활용하여 구글 워크스페이스에서 문서, 슬라이드 등의 콘텐츠를 만들고 다시 아인슈타인 코파일럿을 통해 캘린더 미팅뿐만 아니라 미팅 요약 등을 만들 수 있다. 이 파트너십은 굉장히 흥미로운 부분이 있는데, 바로 OpenAI와 마이크로소프트의 기술을 기반으로 한 아인슈타인 코파일럿은 구글이 사용하고, 세일즈포스는 구글의 Duet AI를 지원한다는 점이다. 두 개의 LLM기술이 서로 시스템을 건너가며 상호 작용하는 모습이 된다.
그림 7. 듀엣 AI가 세일즈포스 연락처로부터 회의 참석자를 추천 (출처: 구글)세일즈포스는 데이터 공유와 양방향 액세스를 위해 데이터 클라우드와 데이터브릭스(Databricks) 레이크 하우스 플랫폼과 그의 라이벌 스노우플레이크와의 통합을 발표했다. 세일즈포스와 데이터브릭스, 스노우플레이크 사용자는 각자의 플랫폼 내에서 서로의 데이터에 액세스할 수 있다.
이러한 통합의 의미와 중요성은 복잡한 추출, 변환 및 로드(ETL) 프로세스를 없애고 BYOL (Bring Your Own Lake)을 추진한다는 점이다. 즉 사용자는 거버넌스, 보안, 신뢰에 영향을 주지도 받지도 않으면서 서로 다른 플랫폼에 저장된 데이터를 통합된 방법으로 액세스 하고 활용할 수 있다. 또한 관련 비용도 절감할 수 있다. 예를 들면 데이터브릭스나 스노우플레이크의 데이터 과학자와 개발자는 선호하는 도구와 ML 프레임워크를 사용하여 AI 모델을 구축, 학습 및 관리하고 그 모델을 세일즈포스 플랫폼에 가져와 커스터머 360 플랫폼 전체에 적용할 수 있다는 의미이다.
아마존웹서비스(AWS)와도 비슷한 종류의 BYOL(Bring Your Own Lake) 및 BYOLLM(Bring Your Own Large Language Model)을 위한 파트너십을 발표했다. 이 통합을 통해 사용자는 데이터 클라우드와 아마존 레드시프트(Redshift) 및 EMR과 같은 AWS 서비스 전반에서 데이터를 원활하고 안전하게 통합하여 세일즈포스 플랫폼 내에서 아마존 베드록(Bedrock) 및 세이지메이커(SageMaker)의 광범위한 기반 모델을 안전하게 활용할 수 있다. 사용자는 AWS의 최신 생성 AI 기술을 애플리케이션과 워크플로에 도입할 수 있다는 뜻이다.
그림 8 세일즈포스에서 AWS데이터에 액세스하기마무리
기술은 수십 년 동안 업무의 구조를 변화시켜 왔다. 산업화 시대의 기계는 근로자가 자신의 신체 능력을 뛰어넘는 육체적 작업을 수행할 수 있도록 했고, 컴퓨터는 지식 근로자가 수작업으로 수년이 걸리던 계산을 빠르고 정확하게 수행할 수 있게 했다.
드림포스 2023에서는 기술 그 자체를 논하는 것이 아니라, 그 새로운 기술이 기업 데이터와 만나 어떤 혁신을 만들어주는가에 대해 집중적으로 다루었다. 핵심으로 다루어진 데이터 클라우드와 생성형 AI기술은 현재 우리의 업무 방법과 조직 운영 방식을 크게 변화시킬 것이고 선도적인 기업이라면 새로운 기술의 부정적인 사용 사례에 주의하면서, 전체 인력에 필요한 직종과 기술, 채용 계획, 재교육 프로그램을 생각해야 할 때이다. 새로운 문제가 발생한다고 피하거나 멀리할 수 있는 아니라 기술 동향의 올바른 이해를 통해 성장 잠재력을 최대화하는 전략이 필요하다.
참고 References
[1] McKinsey, “The economic potential of generative AI: The next productivity frontier”, Jun 21, 2023
[2] Mulesoft, “2023 Connectivity Benchmark Report”, 2023
