공간 컴퓨팅 (Spatial Computing)
AWS ‘심스페이스 위버’를 중심으로
* 이 글은 지난 1월 NIA의 디지털 서비스 이슈 리포트에 기고한 글입니다.
메타버스를 이야기할 때 등장하는 핵심 키워드 중 하나는 공간 컴퓨팅(Spatial Computing)이다. 사이언티픽 아메리칸(2022.11.)에서는 공간 컴퓨팅이야말로 물리적 세계와 디지털 세계의 컨버전스를 위한 다음 단계이며 가상현실과 증강 현실 앱이 할 수 있는 모든 것을 위한 것이라고 말하고 있다.
공간 컴퓨팅이란 무엇인가
먼저 클라우드를 통해 객체를 디지털로 바꾸고, 센서와 모터가 서로 반응하게 하며, 세상을 디지털로 표현하게 한다. 이후에는 이런 기능을 고품질의 공간 매핑과 함께 사람이 디지털 세계나 물리적 세계를 움직일 때 객체의 움직임과 상호 작용을 따라가고 제어할 수 있게 한다.
공간 컴퓨팅은 인간과 기계, 기계와 기계 간의 상호작용을 새로운 수준의 효율로 끌어올릴 수 있으며, 산업, 헬스케어, 교통, 가정에서 삶의 수준을 변화하게 할 것이다. 테크타깃은 공간 컴퓨팅을 3D 데이터를 캡처 처리 및 상호 작용하는 데 사용하는 프로세스와 도구를 광범위하게 지칭하는 것으로 설명하며, 구성 요소에는 사물인터넷, 디지털 트윈, 앰비언트 컴퓨팅, 증강 현실, 가상현실, 인공지능 그리고 물리적 제어가 있다고 말한다.
사용자는 물리적 장치에 내장된 화면, 물리적 세계를 미러링 하는 VR 헤드셋 또는 물리적 세계에 데이터를 중첩하는 혼합 현실 장치를 통해 공간 컴퓨팅 애플리케이션과 상호 작용한다. 공간 컴퓨팅이라는 단어를 만들어 낸 사람은 MIT의 사이먼 그린월드(Simon Greenwold)이다. 그린월드는 자신의 석사 논문 ‘공간 컴퓨팅'(Spatial Computing, 2003)에서 공간 컴퓨팅을 다음과 같이 정의했다:
“기계가 실제 물체와 공간에 대한 참조 대상을 유지하고 조작하는 기계와 인간의 상호 작용이다. 그것은 우리의 일과 놀이에서 기계를 더 완전한 파트너로 만들기 위한 필수 구성 요소다.” (사이먼 그린월드)
또한, 공간 컴퓨팅은 물리적 공간, 사물, 프로세스 또는 사람을 나타내는 소위 디지털 트윈과 메타버스의 가상 세계 사이의 점을 연결하여 디지털과 현실 세계 사이의 가교 역할을 한다고 클라우드 GPU 제공업체인 코어위브의 브랜닌 맥비가 그 의미를 설명했다. 테크 타깃에서는 공간 컴퓨팅에 다음과 같은 몇 가지 단계가 있다고 설명한다.
첫째, 사진 측량법으로, 라이더, 레이더와 같은 기술로 세계에 대한 3D 모델을 캡처한다. 라이다 또는 레이더는 주변 물체에서 레이저 또는 무선 신호의 반사를 측정하여 3D 모델을 캡처하여 각 지점까지의 거리를 나타내는 포인트 클라우드를 자동으로 캡처한다. 사진에서 3D 모델을 생성하는 기술이자 과학으로 설명되는 사진 측량은 여러 이미지 또는 카메라의 이미지를 결합한다. NeRF(Neural Radiance Field)와 같은 최신 인공지능 기술로 소수의 이미지를 사용하여 더 풍부한 표현을 캡처할 수 있다.
둘째, 머신 비전과 같은 기술은 이 데이터를 분석하여 이미지를 이해한다. 인공지능 기술은 장면에서 개별 개체를 식별하고, 결함을 찾고, 보행 패턴을 이해하거나, 서로 다른 작업자가 프로세스를 수행하는 방식을 분석하는 데 도움이 된다. 예를 들어, 건설에서 이러한 기술은 작업 진행 상황을 모니터링하고, 문이 제대로 닫히지 않는 것과 같은 문제를 정확히 찾아내고, 계약자가 전원 콘센트 설치를 잊는 것과 같은 문제를 식별하는 데 도움이 될 수 있다.
공간 컴퓨팅의 세 번째 측면은 조치를 취하는 것과 관련이 있다. 예를 들어, 자율 주행차는 앞의 보행자를 감지하고 실시간으로 차량을 정지시키기로 결정한다. 건물 제어 시스템은 데이터베이스에 저장된 기본 설정에 따라 누군가 방에 들어올 때 열이나 조명을 조정하기로 결정하며, 건설 관리 시스템은 누락된 플러그를 설치할 팀을 예약한다. 이런 조처는 물리적 프로세스에서 캡처한 디지털 3D 이미지에 대한 분석으로 인해 가능할 수 있다. 공간 컴퓨팅이 기업 프로세스를 개선하면서 얻을 수 있는 이점은 다음과 같다.
컴퓨터 프로그래밍을 인간이 세상을 생각하는 방식과 일치시킨다.
새로운 물리적 워크플로 가능.
여러 유형의 센서에서 데이터를 결합하여 사용자 경험을 간소화시킨다.
디지털 트윈 생성 프로세스 자동화.
로봇 프로세스 자동화와 물리적 자동화 사이의 점을 연결한다.
물리적 공간에서 사람, 로봇 및 제품 간의 새로운 상호 작용 방식을 가능하게 한다.
기업이 물리적 프로세스 변화의 성능을 측정하도록 지원한다.
여러 물리적 프로세스의 오케스트레이션이 가능하다.
물리적 시설 및 프로세스의 설계를 개선한다.
공간 컴퓨팅은 물리적 제품의 제조 및 이동과 관련된 산업의 모든 측면을 변화시키고 있다. 또한, 물리적 제품의 작동 및 사용자 경험을 향상하기 위해 공간 컴퓨팅이 사용되고 있다. 산업에서 공간 컴퓨팅의 사용 예로는 다음과 같은 것을 제시하고 있다.
제조 시설에서 프로세스의 모든 단계에서 생산 라인을 모니터링하는 데 도움이 될 수 있으며, 이를 통해 제품을 만드는 데 관련된 다양한 단계를 식별할 수 있다.
대형 창고에 있는 제품의 물리적 위치에 대한 데이터를 제품을 포장하는 로봇 및 인간의 움직임과 결합할 수 있다. 이를 통해 사람과 로봇을 제품으로 안내하거나 더 나은 경로를 제안할 수 있으며, 이 기능을 사용하여 다양한 레이아웃을 시뮬레이션해 전반적인 효율성을 개선하고 작업자의 피로를 줄일 수 있다.
부동산 관리 회사는 공간 컴퓨팅을 사용하여 공간 사용을 최적화하기 위해 다양한 레이아웃으로 오버레이 된 사무실 모델을 구축할 수 있다. 자동화된 조명 및 환경 제어를 프로그래밍해 조명과 열을 작업자 선호도에 맞게 조정할 수 있으며, 병원에서 위치 태그는 응급 상황에서 팀이 특수 장비를 조달하는 데 도움이 될 수 있다.
물리적 제품은 자동차와 같은 자율 사물을 안내하는 공간 컴퓨팅의 중요한 역할에서 볼 수 있듯이 공간 컴퓨팅으로 바뀌고 있다. 디지털화된 가구(예: 침대, 주방 테이블, TV)는 시간과 거주자의 일정에 따라 자동으로 움직일 수 있으며, 손을 흔들거나 특정 제스처로 설정을 변경할 수 있다.
AWS의 공간 컴퓨팅 지원 도구들
AWS는 이미 산업계의 여러 기업과 공간 컴퓨팅 분야에서 파트너십을 맺고 있다. 공개적으로 지지를 선언한 기업으로는 캠프파이어 3D, 메타, 매직 립, 엔비디아 등이 있다. AWS의 공간 컴퓨팅 유닛은 여러 부문을 포함하는데 여기에는 게이밍, 필름, 시뮬레이션, 지리 공간 등이 있으며, 이는 이런 매체들이 본질적으로 공간과 관련 있다는 점에서 의미가 있다. 다는 아니지만 많은 영역은 세상을 그려내는데 게임 엔진을 사용한다.
AWS는 오픈XR과 같은 개방형 표준을 적극적으로 지원하고 있으며, 리눅스 재단과 협력해 게임 엔진인 럼버야드(Lumberyard)를 오픈 3D 엔진(O3DE)으로 전환해 정기적으로 업데이트하는 오픈 소스 게임 엔진을 만들었다. 다시 말해 럼버야드는 더 이상 제공하지 않고 O3DE 사용을 권장하며, O3DE는 어도비, AWS, 에픽, 마이크로소프트, 인텔, 라이트스피드 스튜디오, 나이앤틱 및 기타 개발자를 포함한 오픈 소스 커뮤니티를 통해 유지 관리하고 있다. O3DE에 대한 문서는 깃허브에 나와 있다.
AWS는 2017년부터 수메리언이라는 3D 엔진을 제공해 왔으나 그 이후로 축소되어 XR(확장현실) 시장 성장이 많은 사람들이 예상한 것과 같지 않음을 보여주고 있다. 수메리안은 개발자의 워크플로우와 항상 일치하지는 않았고 사용자들이 AWS 앰플리파이(Amplify)를 사용한 저작과 퍼블리싱을 위해서는 바빌론.js로 이전하도록 해 왔다. 바빌론.js는 웹 렌더링 엔진이며 5.0에서는 웹 GPU를 충실히 지원하고 있다. 웹 GPU는 웹 개발자에게 컴퓨트 셰이더 및 초고속 텍스처 로딩과 같은 가장 진보된 최신 그래픽 기능에 대한 액세스를 제공한다. 또한, 언리얼과 유니티와 같이 대부분의 공간 컴퓨팅을 구축하기 위해 사용하는 두 개의 메인 엔진을 훌륭하게 지원하고 있다.
많은 공간 컴퓨팅 애플리케이션이 지연에 민감하기 때문에 아마존의 AWS는 세계 수십 개 지역에 클라우드 존을 제공하는 것뿐만 아니라 지역 존과 웨이브렝스 엣지 컴퓨팅 인프라를 제공해 지연을 줄이는 것을 돕는 방식으로 공간 컴퓨팅을 위한 클라우드 제공업체로 자리매김하고 있다. 이를 통해 사용자에게 최대한 근접하고자 하는 의미를 갖고 있으며, 더 나은 원격 렌더링이 가능하게 하고 가벼운 AR과 VR 헤드셋이 무게를 늘리지 않아도 렌더링 품질과 성능 향상을 제공한다. 다시 말해 충분한 연결성과 유비쿼터스 엣지 컴퓨팅이 없으면 AWS 개발자는 엣지 클라우드 리소스를 사용하는 애플리케이션을 구축하기 위해 이 기능에 의존할 수밖에 없는 것이다.
AWS 심스페이스 위버
심스페이스 위버(SImSpace Weaver)는 2022년 리인벤트(re:Invent) 콘퍼런스에서 AWS CEO인 아담 셀립스키가 개막 키노트 연설을 통해서 발표했다. 키노트에서는 지멘스를 포함한 세계 최대 규모 기업이 시뮬레이션을 어떻게 강화할 수 있는가를 강조했다. 아마존은 시뮬레이션을 문제가 발생하기 전에 예측하는 데 도움이 되는 고성능 컴퓨팅(HPC)의 한 형태로 보고 있다.
특히 공간 시뮬레이션은 사람, 기계 및 환경 간의 수백만 건이 넘는 실시간 상호 작용을 통합하여 사물을 완전히 새로운 차원으로 끌어올린다. 공간 시뮬레이션은 이제 전체 도시를 시뮬레이션하는 데 사용할 수 있으며 에릭슨이 엔비디아 옴니버스를 사용한 공간 시뮬레이션을 통해 전체 도시의 5G 커버리지를 렌더링 하는 것을 보였다. 이러한 복잡성과 정확성의 시뮬레이션을 디지털 트윈을 위해 구현해야 한다.
AWS의 아담 셀립스키는 실시간 상호 작용을 시뮬레이션할 수 있는 기존 3D 엔진은 수백 평방 마일에 달하는 수백만 명의 도시 크기로 확장하도록 설계하지 않았기 때문에 주요 도시의 크기로 확장하기 위해 시뮬레이션의 여러 인스턴스를 원활하게 상호 연결하는 내부 솔루션을 만드는 것이 필요하다고 말했다.
이러한 요구사항으로 인해 AWS는 인프라를 관리할 필요 없이 대규모 공간 시뮬레이션을 실행할 수 있는 심스페이스 위버를 구축했다. 심스페이스 위버는 공간 시뮬레이션을 수행하고 최대 10개의 아마존 EC2(Elastic Compute Cloud) 인스턴스에 걸쳐 자동으로 확장한다. 또한, 개체가 한 인스턴스에서 다른 인스턴스로 원활하게 이동할 수 있으므로 이러한 거대한 세계를 더욱 자연스럽게 시뮬레이션할 수 있다.
심스페이스 위버는 이미 언리얼 엔진 및 유니티와 통합할 수 있고 사용자 지정 시뮬레이션 엔진을 위한 심스페이스 위버 SDK를 제공한다. 심스페이스 위버에 대한 AWS의 초점은 이러한 대규모 시뮬레이션을 구축하는 동안 복잡성을 제거하여 개발자가 시뮬레이션을 직접 작업할 수 있도록 시간을 돌려주는 것에 맞춰져 있다. 아마존은 심스페이스 위버의 사용 사례로 대규모 군중 시뮬레이션, 도시 규모의 환경 재창조, 몰입형 대화식 경험 창출을 들고 있다.
대규모 군중 시뮬레이션은 전형적인 실제 환경을 보여주는 가상 환경에서 고유한 행동 모델을 사용하여 수백만 개의 동적 개체를 생성한다. 도시에서는 전체 도시 또는 국가의 트래픽 패턴, 대중 교통망 또는 공급망 인프라를 시뮬레이션할 수 있으며, 몰입형 대화식 경험에서는 여러 사용자가 공유할 수 있는 몰입형 대화식 교육 환경을 구축하여 실제 시나리오에 대응할 수 있도록 팀을 교육할 수 있음을 사례로 제시한다.
심스페이스 위버의 주요 특징으로는 다음과 같은 것이 있다.
관리형 인프라: 최대 10개의 아마존 EC2 인스턴스에서 공간 시뮬레이션을 확장할 수 있으며 인프라 프로비저닝, 네트워킹 및 디프로비저닝과 같은 어려운 작업을 관리할 수 있다. 심스페이스 위버를 사용하면 인프라에 대해 걱정하는 시간을 줄이고 가상 세계를 채울 시뮬레이션 코드 및 콘텐츠를 개발하는 데 더 많은 시간을 할애할 수 있다.
나만의 시뮬레이터 실행: 자체 시뮬레이션 엔진을 확장할 수 있는 기회를 제공하는 유연한 서비스이다. 심스페이스 위버 앱 SDK와 통합하여 AWS 심스페이스 위버 애플리케이션(또는 간단히 앱)을 생성한 다음 앱을 아마존 S3에 업로드하고 시뮬레이션 일부로 사용한다. 단일 시뮬레이션 내에서 이러한 앱은 선택한 수량의 EC2 인스턴스에 분산되어 실행되며 심스페이스 위버는 이들 사이의 통신 및 시뮬레이션 상태를 관리한다.
공간 분할: 심스페이스 위버는 시뮬레이션 세계를 공간 파티션이라는 개별 영역으로 나누어 작동한다. 사전 정의된 구성에 따라 시뮬레이션 세계를 자동으로 분할하며 각 공간 영역은 해당 영역 내 모든 개체의 시뮬레이션 논리 및 동작을 담당하는 심스페이스 위버 앱에서 관리한다. 심스페이스 위버는 현재 균일한 2D 그리드로의 분할을 지원한다.
교차 인스턴스 데이터 복제: 모든 개체가 서로의 공간적 존재와 상태를 인식할 수 있다. 또한, 서버 간 개체 데이터의 메모리 및 복제를 관리하여 개체가 서로 다른 시뮬레이션 영역 간의 경계를 원활하게 교차할 수 있도록 한다.
구독: 애플리케이션이 구독 시스템을 사용하여 시뮬레이션의 다른 영역에서 시뮬레이션 데이터를 읽을 수 있는 기능을 제공한다. 이는 시뮬레이션 개체가 인접한 파티션에서 발생하는 이벤트를 설명하거나 파티션 경계를 따라 다른 개체와 상호 작용할 수 있음을 의미한다.
심스페이스 위버 로컬: 자체 로컬 하드웨어를 사용하여 시뮬레이션 코드를 실행하여 반복 시간을 단축하고 무료로 테스트할 수 있으며 향후 본격적인 생산을 위해 클라우드로 원활하게 전환할 수 있다.
언리얼/유니티 통합: 심스페이스 위버는 언리얼 엔진 5 및 유니티 LTS 릴리스 2021.3.7 f1과 기본 통합을 제공한다.
2022년 리인벤트에서는 듀얼리티와 AWS가 협력해 러시 아워 위급과 대응에 대한 시뮬레이션을 선보였다. 듀얼리티의 디지털 트윈 시뮬레이터인 팔콘(Falcon)을 심스페이스 위버와 통합해 도시에서 앰뷸런스 대응 시간을 절약할 수 있음을 보였다. 이 시뮬레이션은 고 충실도 물리학, 실사 렌더링, 가상 센서 및 백만 개 이상의 동시 에이전트를 통한 실시간 성능을 보여줬다.
전망
이번 글에서는 아마존 AWS에서 최근에 발표한 심스페이스 위버를 중심으로 공간 컴퓨팅을 지원하는 클라우드 서비스를 얘기했지만, 마이크로소프트도 애저에서 혼합 현실을 지원하는 애저 공간 앵커즈(Spatial Anchors), 애저 객체 앵커, 공간과 관련한 코그니티브 서비스 등을 제공하고 있다. 이는 주로 홀로렌즈 사용을 기반으로 하는 개념이 많기 때문에 다음에 따로 소개하기로 한다.
공간 컴퓨팅은 디지털 트윈, 메타버스, 시뮬레이션, 앰비언트 컴퓨팅에서 앞으로 가장 중요한 기반이 될 것이며, 그런 측면에서 대규모 공간 컴퓨팅 지원 기능은 앞으로 클라우드 서비스 사업자들에게는 핵심 경쟁 기능이 될 수 있다.
