클라우드 렌더링 서비스를 강화하는 하이퍼 스케일러
이 글은 제가 NIA [한국지능정보사회진흥원]의 < 디지털서비스 이슈리포트 > 2024년 4월호에 기고한 글입니다. 원본 글 '클라우드 렌더링 서비스를 강화하는 하이퍼 스케일러'을 이곳 브런치에서도 공유합니다.
포토샵의 최신 뉴럴 필터를 사용하거나 온라인에서 3D 캐릭터에 모션 캡처 데이터를 추가하는 작업을 해왔다면 클라우드 기반 기술을 사용하고 있는 것이다. 오늘날 클라우드 컴퓨팅은 어디에나 존재하며, 기술 트렌드의 변화를 이끌고 있지만, 디지털 콘텐츠 창작자에게도 클라우드 컴퓨팅은 큰 도움이 된다. 영화, TV 프로그램, 광고, 게임, 건축이나 산업 디자인을 위한 2D 및 3D 비주얼 창작물을 제작하는 팀들에게 가장 시간이 오래 걸리고 하드웨어 비용이 많이 드는 일은 렌더링이라고 할 수 있다. 애니메이션 스튜디오 픽사의 경우[1] 프레임을 렌더링하는 데 최소 약 24시간이 걸리며, 초당 24 프레임을 사용하는 100분짜리 영화를 렌더링하면 약 400년이 걸린다. 픽사는 기본적으로 2000대의 컴퓨터와 24,000개의 코어로 구성된 슈퍼컴퓨터인 '렌더 팜'을 보유하고 있고 이는 세계에서 가장 큰 슈퍼컴퓨터 25대 중 하나로 여겨진다. 이렇게 고사양의 컴퓨터 하드웨어 성능을 요구하는 일들이 점차 클라우드로 이동하고 있다.
클라우드 렌더링은 짧고 엄격한 마감 기한에 맞춰 고품질의 3D 콘텐츠를 제작해야 하는 전문가들에게 점점 더 인기 있는 옵션이 되고 있다. 클라우드 컴퓨팅의 성능을 활용하면 하드웨어에 대한 투자를 줄이면서 더 짧은 시간에 더 복잡하고 세밀한 장면을 제작할 수 있게 되었다. 이번 글에서는 클라우드 렌더링의 정의, 장점, 활용 사례, 과제, 그리고 이 기술을 주도적으로 제공하고 있는 하이퍼 스케일러들의 서비스에 대해 알아보고자 한다.
클라우드 렌더링의 정의와 장점
클라우드 렌더링은 로컬 컴퓨터에서 렌더링하지 않고 클라우드의 원격 컴퓨팅 리소스를 활용하여 3D 그래픽과 애니메이션을 렌더링하는 프로세스다. 클라우드 렌더링은 기존의 온프레미스 렌더팜에 비해 확장성, 접근성, 비용 효율성 등의 이점을 제공한다.
대기열(제출된 렌더링 작업)과 플릿(대기열을 처리하는 노드 그룹)으로 구성된 렌더 팜은 구축 및 배포에 몇 주 또는 몇 달이 걸릴 수 있으며 하드웨어 조달과 복잡한 인프라 구성을 위해 상당한 계획과 사전 투자가 필요하다. 기업은 피크 수요에 대비해 프로비저닝 할 것인지, 아니면 제공 기간 사이에 비용이 많이 드는 인프라를 유휴 상태로 둘 것인지 결정해야 하는데, 이는 동시에 수행할 수 있는 프로젝트 수를 제한하거나 프로젝트를 지연시키거나 제공 약속을 놓칠 수 있는 고정 용량 제약에 부딪힐 수 있다. 또한 온프레미스 렌더팜에서는 애니메이션이나 게임 시네마틱용 소프트웨어와 같은 여러 전문 디지털 콘텐츠 소프트웨어를 연결해야 한다. 파이프라인 소프트웨어가 렌더링 관리 툴과 호환되지 않거나 최신 버전이 아닌 경우, 스튜디오는 이전 소프트웨어 버전을 유지하거나 원하는 워크플로를 변경하거나 소프트웨어 통합을 위해 추가 프로세스를 도입해야 한다. 또한 조직은 예산을 준수하기 위해 비용을 추적하고 관리해야 하는데, 사내 툴에는 프로젝트 비용을 쉽게 추적할 수 있는 기능이 부족한 경우가 많다. 많은 스튜디오는 자체 클라우드 기반 컴퓨팅 인프라를 구성하거나 관리할 사내 직원이나 IT 리소스가 없어 외부에서 대체 컴퓨팅 및 IT 지원을 찾아야 하기에 비즈니스를 쉽게 확장할 수 있는 확장 능력이 부족할 수 있다.
이에 반해 클라우드 기반 렌더링 서비스는 디지털 그래픽과 애니메이션 렌더링을 병렬화 처리하여 렌더링 시간과 비용을 줄이고 성능을 향상시키는 방법이다. 클라우드 컴퓨팅이 인터넷을 통해 컴퓨팅 리소스에 액세스하여 사용하는 기술이라면, 클라우드 렌더링은 이러한 원격 컴퓨팅 리소스를 활용하여 3D 그래픽과 애니메이션을 렌더링하는 한 단계 더 발전한 기술이다. 로컬 컴퓨터에서 3D 장면을 렌더링하는 대신 클라우드 원격 서버에서 데이터 파싱과 처리를 수행한다. 단일 컴퓨터에서 이미지를 순차적으로 렌더링하는 대신 애니메이션을 구성하는 모든 이미지 또는 프레임을 동시에 렌더링할 수 있기 때문에 3D 애니메이션 렌더링에서 가장 큰 이점을 얻을 수 있다. 최종 결과물은 사용자의 워크스테이션으로 다시 전송되어 비디오로 변환되기 전에 추가 편집이 이루어진다. 즉, 시퀀스의 모든 프레임이 렌더링될 때마다 오랜 시간이 걸리는 복잡한 장면도 모든 프레임이 동시에 렌더링되기 때문에 짧은 시간 안에 렌더링이 완료될 수 있다.
간단히 말해 클라우드 렌더링은 인터넷을 통해 원격 서버에서 여러 대의 컴퓨터가 각각 한 프레임 또는 프레임의 일부분을 렌더링하여 디지털 그래픽과 애니메이션을 병렬로 렌더링하는 프로세스를 말한다. 로컬 컴퓨터나 워크스테이션은 아무리 성능이 뛰어나더라도 프레임을 차례로 렌더링해야 하는데, 클라우드라는 기반 인프라를 통해 비용 효율적인 렌더링이 가능할 뿐만 아니라 대규모 네트워크를 활용하여 처리 능력을 향상시킬 수 있다.
클라우드 렌더링 서비스는 온프레미스 렌더팜을 유지하는 것보다 많은 이점을 제공하지만, 가장 큰 장점을 꼽으라면 유지 비용이 들지 않는다는 점이다. 기존 렌더팜은 렌더팜을 설정하고 유지 관리하기 위해 하드웨어, 소프트웨어 라이선스, IT 인프라에 막대한 초기 투자가 필요하다. 반면 클라우드 렌더링은 사용량 기준으로 컴퓨팅 리소스에 대한 액세스를 제공하므로 리소스 할당에 있어 유연성과 확장성을 가질 수 있다. 또한 기존 렌더팜은 일반적으로 설정 및 유지 관리에 상당한 시간과 리소스가 필요하지만 클라우드 렌더링은 하드웨어나 소프트웨어 설치 없이도 빠르고 쉽게 설정 가능하다. 그러나 여기에는 주의가 필요하다. 프로젝트에 많은 양의 컴퓨팅 리소스가 필요하거나 렌더링 시간이 긴 경우 클라우드 렌더링을 사용하는 비용이 빠르게 증가할 수 있다.
다음은 기존 렌더팜과 클라우드 렌더링 서비스 사용에 따른 비용의 대략적인 비교표이다.
그림 1. 렌더팜과 클라우드 렌더링 서비스 비용 비교 (출처: Garagefarm)물론 이런 비용은 렌더팜의 규모나 렌더링 요구 사항에 따라 달라질 수 있다. 일반적으로 현재까지 많은 대형 스튜디오에서는 인하우스 온프레미스 렌더팜을 사용해 왔지만, 클라우드 렌더링 서비스는 스타트 업 스튜디오나 프리랜서 아티스트에게 비용 효율적인 솔루션이 될 수 있다. 클라우드 렌더링 서비스는 다음과 같은 장점을 갖고 있다.
1. 확장성: 클라우드 렌더링의 주요 장점이다. 프로젝트의 요구 사항이 변경되면 클라우드에서 사용 가능한 리소스를 적절히 조정할 수 있으므로 추가 하드웨어에 투자하지 않고도 더 크고 복잡한 프로젝트를 처리할 수 있다.
2. 접근성: 3D 그래픽 전문가에게 접근성을 제공한다. 인터넷을 통해 컴퓨팅 리소스에 액세스하고 사용할 수 있기 때문에 서로 다른 위치에 있는 다른 사람들과 협업하고 언제 어디서나 작업할 수 있다.
3. 비용 효율성: 고가의 하드웨어에 투자할 필요 없이 필요할 때마다 필요한 컴퓨팅 리소스에 액세스할 수 있으므로 초기 비용과 지속적인 비용을 절감할 수 있다.
4. 성능 향상: 원격 서버의 성능을 활용하여 렌더링 작업을 수행할 수 있으므로 성능이 향상된다. 처리 작업을 클라우드로 오프로드하면 로컬 컴퓨터의 여유 공간을 확보하여 다른 작업에 집중하고 전반적인 워크플로우를 개선할 수 있다.
적용분야와 주의점
그래픽을 다루는 대부분에서 적용가능하지만 그 분야를 나누면 다음과 같이 정리해 볼 수 있다.
•건축 및 인테리어 디자인: 건축 및 인테리어 디자인 업계에서 사용되어 디자이너와 건축가가 설계의 고품질 3D 시각화를 빠르고 쉽게 만들 수 있다.
•게임: 게임 산업은 클라우드 렌더링의 이점을 크게 누릴 수 있는 분야다. 게임 개발자는 강력한 원격 서버에 액세스할 수 있는 기능을 통해 더 복잡하고 세밀한 그래픽을 제작하여 플레이어에게 더 나은 게임 경험을 제공할 수 있다.
•광고, 영화 및 애니메이션: 동영상 제작 산업도 클라우드 렌더링의 덕을 크게 볼 수 있다. 영화 제작자와 창작자는 복잡한 장면과 애니메이션을 단시간에 렌더링할 수 있기 때문에 고품질 콘텐츠를 더 빠르고 효율적으로 제작할 수 있다.
•제품 디자인 및 엔지니어링: 제품의 고품질 3D 시각화를 만드는 데 사용되어 디자이너와 엔지니어가 생산에 들어가기 전에 디자인을 충분히 선 경험할 수 있다.
클라우드 렌더링은 많은 이점을 제공하지만, 그에 따른 어려움도 있다. 다행히도 요즈음엔 이러한 문제를 처리하는 데 있어 기존의 클라우드 서비스를 제공업체들이 그 역할을 적극적으로 하고 있다.
•보안 및 개인정보 보호: 클라우드에서 민감한 데이터를 보호하는 것은 많은 조직에서 중요한 관심사다. 온라인 렌더링은 고객의 민감한 정보와 자산을 보호하기 위해 암호화 및 보안 데이터 저장과 같은 강력한 보안 조치가 필요하다. 여기에는 고객 데이터, 프로젝트 파일, 렌더링이 포함되며, 전송 중과 미사용 시 모두 안전하게 보관되어야 한다.
•데이터 관리: 클라우드 환경에서는 대량의 데이터를 관리하고 데이터 가용성을 보장하는 것이 어려울 수 있다. 온라인 렌더링은 데이터 복제 및 백업과 같은 고급 데이터 관리 기술을 사용하여 고객 데이터를 안전하게 보호해야 한다. 이를 통해 데이터 손실이나 손상의 위험을 줄이고 필요할 때 항상 버전에 따른 데이터를 사용할 수 있도록 보장해야 한다.
•비용 관리: 일부 조직에서는 클라우드 렌더링 비용과 클라우드 렌더링이 제공하는 이점 간의 균형을 맞추는 것이 어려울 수 있다. 비용 효율적인 하드웨어 및 소프트웨어 솔루션 사용과 에너지 효율적인 컴퓨팅 관행과 같은 비용 절감 조치 구현이 필요하다.
클라우드 렌더링 서비스 유형
본인 프로젝트에 맞는 렌더링 서비스를 선택하는 것 또한 그 효과를 최적화할 수 있는 기본 사항이다. 렌더링 시간을 단축하는 클라우드 기반 솔루션부터 여러 대의 컴퓨터 성능을 활용하는 분산 렌더링 시스템까지 다양한 서비스 유형이 있다.
1. 협업형 분산 렌더링 시스템(Cooperative Distributed Rendering System)
사용자가 다른 사용자의 컴퓨터에서 프로젝트를 무료로 렌더링할 수 있다. 이 모델은 커뮤니티 기반이며 비용 효율적이지만 데이터 보안 및 자원 관리 등 몇 가지 단점이 있어 마감 기한이 촉박한 전문 프로젝트에는 적합하지 않다.
2. 서비스형 인프라 (IaaS: Infrastructure as a Service)
사용자에게 높은 수준의 사용자 지정 및 확장성을 제공하여 특정 요구 사항에 따라 자체 클라우드 파이프라인을 만들 수 있다. 이 모델은 맞춤형 솔루션이 필요한 대규모 프로젝트가 있는 대형 스튜디오에 적합하지만 구성하는 데 시간이 많이 걸리고 파이프라인을 유지 관리하기 위해 사내 전문 기술 지원이 필요하다.
그림 2. IaaS형 렌더링 서비스3. 클라우드 렌더팜 서비스 (Cloud Render Farm Service)
클라우드 렌더링에 대한 보다 자동화된 접근 방식을 원하는 사용자가 이용할 수 있다. 이 모델은 포괄적인 서비스를 제공하여 사용자가 프로젝트와 종속 요소를 서비스 제공업체의 파일 서버에 업로드하고 브라우저에서 렌더링 관리를 하며 팜에서 제공하는 소프트웨어 설정, 지원 및 도구에 대한 추가 비용 없이 렌더링된 데이터의 양에 대해서만 비용을 지불할 수 있는 방법인데, 최근에는 클라우드 제공 기업이 이런 서비스도 함께 제공하고 있다.
그림 3. 자동화된 클라우드 렌더 팜 서비스아마존 웹 서비스 데드라인 클라우드(AWS Deadline Cloud)
렌더링 프로젝트를 몇 분 만에 설정, 배포 및 확장하여 파이프라인 효율성을 개선하고 더 많은 작업을 수행할 수 있도록 지원하는 관리형 서비스인 AWS 데드라인 클라우드를 4월에 발표했다.[2] 가장 강점으로 나타나는 부분은 디자인, 모델링, 애니메이션, 시각 효과, 합성, 마무리 및 렌더링을 위한 인기 있는 디지털 콘텐츠 제작 도구와의 통합 기능이 기본으로 포함되어 있다는 점이다. 데드라인 클라우드 설치 프로그램과 함께 제공되거나 고객 패키지를 통해 배포되는 지원되는 도구는 Adobe After Effects, Autodesk Arnold, Autodesk Maya, Blender, Chaos V-Ray, Foundry Nuke, Luxion KeyShot, SideFX Houdini 및 Unreal Engine 등으로 디지털 콘텐츠 제작 소프트웨어와의 통합을 사용하여 특정 프로젝트에 맞게 렌더 파이프라인을 조정하고 디자인, 모델링, 애니메이션, 시각 효과 등에 사용하기 위해 선호하는 툴에서 직접 렌더링할 수 있는 강점이 있다.
사용자는 AWS 관리 콘솔을 통해 데드라인 클라우드에 액세스하여 인스턴스 유형을 결정하고 권한을 구성하기 위해 프로젝트의 규모와 기간을 제공하는 등 안내 프로세스를 통해 렌더 팜을 구축할 수 있다. 데드라인 클라우드는 아마존 엘라스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud) 인스턴스를 자동으로 프로비저닝하고 네트워크 및 컴퓨팅 인프라를 관리하여 수요에 따라 확장할 수 있는 기능을 간소화시켰다. 데드라인 클라우드의 대시보드는 로그를 분석하고, 진행 중인 렌더링 작업을 미리 보고, 비용을 쉽게 검토 및 제어할 수 있는 종합적인 보기를 사용자에게 제공한다. 데드라인 클라우드를 통해 타사 소프트웨어 라이선스를 서비스와 연결하거나 기존 디지털 콘텐츠 툴 및 렌더 엔진과 렌더링에 대한 사용량 기반 라이선스를 쉽게 적용할 수 있다.
그림 4. AWS 데드라인 클라우드 동작 구조(출처: AWS)데드라인 클라우드는 모든 렌더링 프로젝트를 한 곳에서 관리할 수 있는 통합 인터페이스를 제공한다. 데드라인 클라우드 모니터를 사용하여 우선순위 및 작업 상태 업데이트를 포함한 렌더링 작업을 관리하고, 팜을 모니터링하고, 로그와 작업 상태를 확인할 수 있다. 또한 렌더링에 필요한 컴퓨팅에 대해서만 비용을 지불하는 종량제 요금제를 제공하며, 프로젝트별로 렌더링 비용을 더 잘 이해할 수 있는 기본 제공 예산 관리 기능을 제공한다. 데드라인 클라우드 예산 관리자를 사용하면 예산을 생성하고 편집하여 프로젝트 비용을 관리할 수 있고, 사용량 탐색기를 사용하면 사용된 AWS 리소스 수와 해당 리소스에 대한 예상 비용을 확인할 수 있다.
그림 5. 데드라인 클라우드 사용량 탐색기(출처: AWS)데드라인 클라우드는 현재 미국, 싱가포르, 시드니, 도쿄, 프랑크푸르트, 아일랜드에서 사용 가능하다.
마이크로소프트 애저 리모트 렌더링
애저 리모트 렌더링은 3D 콘텐츠뿐만 아니라 홀로렌즈 2와 같은 혼합 현실 디바이스에 대화형 환경을 제공하는 것이 특징이다. 이 서비스는 애저의 컴퓨팅 성능을 사용하여 클라우드에서 디바이스로 실시간으로 스트리밍 하므로 사용자가 3D 콘텐츠와 세밀하게 상호 작용하고 공동 작업할 수 있게 한다.
테더링 되지 않은 디바이스에서 3D 콘텐츠를 보는 기존 방식은 데시메이션(decimation) 또는 모델 압축과 폴리곤 제거를 수반하기에 주요 비즈니스 및 디자인 결정을 내리는 데 필요한 중요한 디테일이 손실될 수 있는데, 원격 렌더링은 클라우드에서 콘텐츠를 렌더링하고 실시간으로 디바이스로 스트리밍하여 사람들이 모든 디테일을 그대로 유지하고 품질 저하 없이 인터랙티브한 고품질 3D 모델을 사용할 수 있도록 하는데 중점을 둔다.
애저에서는 실시간 렌더링을 위한 하이브리드 렌더링이란 기법을 사용하는데, 애플리케이션에서는 복잡한 모델을 렌더링하는 것만으로는 충분하지 않기에 사용자 지정 UI도 필요합니다. 리모트 렌더링은 전용 UI 프레임워크를 사용하도록 강요하지 않으며 혼합현실 툴킷(MRTK: Mixed Reality Tool Kit)과 같이 사용자가 선호하는 방법을 사용하여 디바이스에서 렌더링할 수 있다. 프레임이 끝나면 리모트 렌더링은 로컬로 렌더링된 콘텐츠를 원격 이미지와 자동으로 결합한다.
그림 6. 애저 리모트 서비스 기술 아키텍쳐(출처: 마이크로소프트)원격 렌더링 서비스는 현재 홀로렌즈 2, 윈도우 11 PC, 메타 퀘스트 2/Pro를 지원하고 있다.
마무리
AWS와 애저가 클라우드 렌더링 서비스에 대한 확실한 로드맵을 갖고 있는데 반해 구글 클라우드 플랫폼(GCP)의 경우엔 자체 서비스가 아닌 컨덕터(conductortech.com)와 같은 파트너 서비스를 통한 하이브리드 지원 방법을 택하고 있다.[3] 아마도 2014년에 구글이 인수한 Zync를 통해 시도했던 서비스가 생각대로 동작하지 않아 2021년 서비스 중단을 경험한 이유로부터의 결정이라 생각된다. 렌더링 서비스를 직접 하는 대신에 구글은 최근에 클라우드의 여러 위치에서 특정 작업과 작업을 특정 머신 유형에 태그하고 할당할 수 있는 유연한 아키텍처를 제공하는 렌더링 매니저 ‘OpenCue’를 오픈 소스의 형태로 발표했다. 원래 소니 이미지웍스에서 개발한 OpenCue는 영화 및 광범위한 미디어 산업 전반의 중립적 기관인 아카데미 소프트웨어 재단(ASWF)에서 호스팅하고 있다. 물론 상용 렌더링 서비스 매니저의 구독 및 라이선스 비용을 피할 수 있는 장점이 있긴 하나, 실제 렌더링 서비스를 하지 않는 상황에서 태스크만을 관리하는 면에서 크게 호응을 받을지는 의문이다.
그림 7. 오픈큐 인프라 구성요소의 상호작용 방식(출처: opencue.io)클라우드 렌더링의 기술적 요구 사항은 사용 중인 서비스 제공자에 따라 달라질 수 있습니다. 일반적으로 웹 인터페이스를 통해 프로젝트 파일을 업로드하고 렌더링 프로세스를 관리한다. 렌더링 서비스에는 사용 중인 3D 모델링 또는 애니메이션 소프트웨어에 대한 특정 요구 사항이 있을 수 있다. 하드웨어 요구 사항도 렌더링되는 프로젝트의 복잡성과 크기에 따라 달라질 수 있다. 일부 클라우드 렌더링 서비스는 렌더링 프로세스 속도를 높이기 위해 강력한 GPU와 같은 고성능 하드웨어에 대한 액세스를 옵션으로 제공하기도 한다.
클라우드 렌더링 서비스는 대부분의 3D 컴퓨터 그래픽 산업과 VR, AR산업에서 제작에 필수적인 요소로 자리 잡았다. 새롭고 파괴적인 기술이 등장하더라도 클라우드 렌더링은 3D 시각화 워크플로우에서 항상 중요한 기술 요소로 자리매김할 것으로 생각한다.
참고 자료, References
[1] The Science Behind Pixar, “Ask a Pixar Scientist”
[2] AWS, “Announcing AWS Deadline Cloud”, Apr 02, 2024
[3] Google Cloud, “Build a hybrid render farm”, Jan 09, 2024
