#2 비효율적인 3D 어셋 매니지먼트 시스템에 개탄하다

나의 고독한 AI 크리에이티브 툴 개발기 #2

"아니 3D 데이터가 왜 없어?"

설계 데이터와 프로덕션 데이터 사이의 괴리

그럼에도 불구하고 가장 큰 허들은 역시 3D였습니다. 제가 만든 프로토타입과 워크플로우는 3D 모델이 필요했습니다. 저는 제품을 만드는 회사라면 제품의 3D 모델링을 쉽게 어셋화 할 수 있겠다 생각했습니다. 그것은 완전히 잘못된 가설이었습니다. 기업들은 물론 3D 모델을 가지고 있었으나 그것은 설계 데이터였고 실제 디지털 프로덕션에 사용하기 위해서는 복잡한 변환 과정이 필요했습니다. 그래서 대부분 대형 에이전시들은 외부 대행사에게 기업의 설계데이터를 토대로 에이전시에서 사용할 수 있는 3D 모델을 제작해 달라 요청합니다. 그렇지만 제작된 어셋들 대부분은 단순히 특정 3D 소프트웨어에 사용되기 위해 제작됐기 때문에 최적화가 되지 않고 범용성이 없는 상당히 무거운 어셋들이었습니다. 그러한 모델들도 수급받기 위해서는 비용을 추가로 지불해야 하거나 꽤나 복잡한 커뮤니케이션을 거쳐야 했습니다.

같은 제품인데도 같은 3D가 세 번 넘게 만들어졌다.

TV 광고용 한 번,
디지털용 한 번,
상세페이지용 한 번.

나는 이해가 안 됐다.
"왜 같은 걸 세 번이나 만들지?"

문제는 기술이 아니라 구조

비효율적이고 파편화된 제작 프로세스

제 관점에서 해당 프로세스는 굉장히 낡고 발전 가능성이 높지 않은 개선이 필요한 구조였습니다. 왜냐하면 비용 측면에서, 활용성 측면에서, 그리고 더 나아가 변화하는 미디어 환경에 대응하는 부분에 있어서도 모두 부적합했기 때문입니다.

첫 번째로 비용 측면에서 손실이 엄청난 구조입니다. 연구소나 기업에서 만든 3D 설계 데이터를 마케팅에 활용하기 위해 3D 업체에 보내는데 이 업체에서 만든 변환된 3D 데이터는 단 1개의 프로젝트에서만 사용됩니다.

많은 기업들은 이미 제품의 3D 데이터를 가지고 있습니다. 그렇지만 설계 우선인 데이터를 실제 마케팅이나 디지털 콘텐츠를 제작하는데 바로 사용할 수 없습니다. 결국 어떻게 할까요?

같은 제품임에도 불구하고 TV광고용으로 한 번, 디지털 콘텐츠 용으로 또 한 번, 상세페이지나 모션그래픽용으로 또 한 번 각각 다른 대행사에서 3D를 반복 제작하게 됩니다.

예를 들어 기업에서 에이전시에게 제품 A의 마케팅 대행을 의뢰합니다. 에이전시는 여러 매체 영역 별로 서로 다른 팀에서 서로 다른 제작 대행사를 섭외해 제품 A의 콘텐츠를 제작하게 됩니다. 에이전시에게 의뢰받은 특정 대행사 A에서 제품 A의 영상 광고에 CG를 사용하기 위해 제품 A의 3D 데이터를 만듭니다. 대행사 B는 제품 A의 상세페이지에 들어갈 이미지 혹은 모션그래픽을 같은 에이전시로부터 의뢰받았습니다. 대행사 B에서도 제품 A의 3D 데이터가 필요합니다. 그렇다면 대행사 A에서 이미 만든 3D 데이터를 대행사 B에서도 활용하면 좋지 않을까요? 불행하게도 대행사 B에서 제품 A의 3D 데이터를 다시 만들어야 합니다.

어차피 같은 회사의 제품이고 똑같은 에이전시에서 개별 제작 대행사에 의뢰한 건데 서로 커뮤니케이션해서 모델을 전달받고 하면 되지 않나요? 같은 제품이라도 TV광고, 디지털 광고, 제품 상세페이지, 이벤트 매체등 미디어 영역이 다르면 담당자도 다르고 서로 대행사도 다 다르고 서로 비용 처리가 복잡해 그런 커뮤니케이션을 기피하게 되는 것 같습니다.

물론 이런 구조를 개선하기 위해 중앙에서 어셋을 관리하자는 시도가 있습니다. 예를 들어 기업이 제품을 출시하면 담당 3D 업체에게 디지털에서 활용할 수 있도록 어셋을 작업하고 이를 클라우드에 업로드합니다. 이제 모든 마케팅 에이전시는 의지가 있다면 해당 어셋을 공통적으로 활용할 수 있습니다.

표준화되지 않고 내재화되지 못해 활용성이 떨어지는 어셋 매니지먼트 시스템

3D 어셋만 있다고 되는 게 아니라 문제는 3D 활용 측면에도 있었습니다. 3D 어셋을 활용할 수 있는 내부 인력이 없어 프로젝트마다 팀마다 서로 다른 3D 대행사에 매번 비용을 지불해야 한다는 점입니다. 게다가 중앙화된 3D 어셋은 특정 워크플로우에만 사용가능하고 다른 워크플로우에는 활용할 수 없습니다. 힘들게 만든 3D 데이터조차 특정 소프트웨어와 렌더러에 종속되어 다른 환경에서는 사용할 수 없는 “폐쇄적인 자산”이 되어버립니다.

여러분이 쉽게 이해할 수 있게 이미지 파일로 예를 들어볼 수 있습니다. 만약 우리가 PNG나 JPEG로 이미지 파일을 받을 수 있으면 우리는 그림판에서도 , 파워포인트에서도, 키노트에서도, 엑셀에서도, 한글과 컴퓨터에서도, 피그마에서도, 캔바에서도 포토샵에서도 사용할 수 있습니다. 그렇지만 만약 PSD 로만 제공된다면 어떨까요? 같은 이미지 작업이지만 포토샵이 없고 포토샵이 있어도 포토샵을 다룰 수 없다면 활용할 수 없습니다. 오로지 포토샵 워크플로우에서만 포토샵이 있고 포토샵 프로만이 해당 자원을 활용할 수 있습니다.

이와 마찬가지로 3D 어셋이 특정 소프트웨어와 렌더러를 가진 워크플로우로 폐쇄적으로 적재되고 있었습니다. 대부분의 3D 어셋은 오토데스크사의 3D MAX로 모델링 되었고 V-RAY 렌더러로 렌더링 하게끔 준비되었습니다. 3D MAX와 V-RAY는 고퀄리티의 콘텐츠를 만드는 업계 표준으로 자리 잡고 있었습니다. 만약 오토데스크사의 3D MAX를 사용할 수 없거나 V-RAY 렌더러가 없으면 프로덕션에 활용할 수 없습니다. 사실 전통적인 매체 환경에서는 기껏해야 TV 광고에 쓰일 CG, 모션그래픽에 쓰일 CG, 정지된 이미지에 쓰일 CG만 만들면 됐기에 이런 파일 세팅이 큰 문제가 되지는 않습니다.

변화한 3D 워크플로우 / 어셋 제작 트렌드

glTF 확장자로 어떠한 3D 플랫폼에서도 3D 데이터가 호환됨을 보여주는 장표

이전에는 TV나 영화관에서 그리고 단순히 정지된 이미지로서 인터렉션이 전혀 없는 일방향적인 방향으로 CG 미디어를 사람들이 시청했습니다. 이때는 특정 소프트웨어 중심으로 특정 어셋 포맷만 잘 활용해도 괜찮았습니다. 그러나 이제는 기술의 발전, 소프트웨어의 발전, 하드웨어의 발전으로 미디어가 실시간으로 사람들과 주변 환경과 상호작용하며 모바일 디바이스뿐 아니라 XR 헤드셋, AR 글래스등 새로운 기기 환경에 대응하게 됐습니다. 이제는 서로 다른 디바이스, 소프트웨어 환경에서 모두 대응하는 표준화된 3D 데이터를 만들고 운영하는 것이 중요해졌습니다. 이제는 단순히 3D MAX와 VRAY 하나만으로 매체 광고 제작이 끝나는 게 아닙니다. 때로는 웹상에서의 실시간 제품 시연을 목적으로 하는 WebGL 상에서 3D 활용해야 하거나 XR 디바이스 환경에서 3D 어셋이 활용될 수 있어야 합니다. Unity나 Unreal 엔진에서의 실시간 렌더링을 위해 그리고 Nvidia 등의 최신 AI 기반 3D 엔진에서도 활용될 수 있어야 합니다.

저는 코로나 시기 이전부터 메타버스 XR 붐이 일던 시기에 XR 업계에서 3D 기술을 다루면서 글로벌 표준화가 되어가는 3D 트렌드를 모두 경험했습니다. 예를 들어 어떤 렌더링 엔진에서도 활용할 수 있는 Physical Based Rendering 매터리얼 세트를 다루는 것의 중요성과 PIXAR와 애플의 USD(Universal Scene Description, OpenUSD)이 어떻게 3D 정보를 관리하는 표준 파일 포맷이자 시스템이 되어왔는지 알고 있었습니다. 웹상에서의 3D 생태계 역시 WebGL의 발전과 함께 웹표준이 된 glTF 워크플로우로 3D 데이터가 어떻게 표준화되고 있는지 알고 있었으며 범용적인 환경에서 3D 데이터를 모두 활용하기 위한 최적화 과정을 중요시했습니다. 이제는 하나의 파일 형식으로 모든 3D 소프트웨어와 렌더러에서 같은 3D 모델을 범용적으로 렌더링 하는 것이 훨씬 수월해졌습니다.

새로운 3D 생태계를 활용하는 글로벌 기업들의 사례

Universal Scene Description을 토대로 표준화된 3D 데이터를 활용하고 있는 글로벌 기업들

이케아는 이미 2017년 전후부터 자신들의 3D 가구 데이터를 글로벌 표준으로 최적화해 대중들이 자신의 공간에 가구를 배치해 볼 수 있는 AR 앱을 서비스하고 있습니다. 이미 웹브라우저 환경은 WebGL 2.0을 넘어 WebGPU의 등장으로 상당한 수준의 실시간 3D 렌더링이 가능해진 지 오래입니다. 이미 글로벌 기업들은 메타의 헤드셋들이나 애플의 비전프로, 그리고 구글과 삼성의 디바이스를 토대로 한 Android XR 운영체제에 대응할 수 있으며 자신들의 웹페이지에서 사람들과 실시간으로 제품이 상호작용할 수 있는 GLB, USDZ 포맷으로 3D 데이터를 표준화했습니다.

이런 최적화, 표준화된 3D 데이터를 위해 전통적인 소프트웨어 개발사들도 발 빠르게 대응했습니다. 가장 대표적으로 문서와 2D 영역의 강자였던 어도비는 3D의 중요성을 깨닫고 2019년 알레고리드믹(allegorithmic)의 Substance 시리즈를 인수했습니다. 해당 개발사는 전 세계의 3D 제작자들에게 표준화된 3D 어셋의 텍스쳐 세트를 만들기 위한 툴 셋을 제공하던 개발사였습니다. 어도비는 그 이후 웹과 XR영역에서 최적화된 3D 어셋을 만들기 위한 3D 생태계를 구축했습니다.

또 3D 데이터의 최적화 방식이 표준화됨에 따라 작업 환경도 바뀌어가고 있습니다. 전통적으로 로컬 데스크톱에서 직접 설치해 성능 좋은 그래픽카드와 비싼 소프트웨어로 3D를 작업해야 했다면 SPLINE 3D등의 웹 기반 3D 저작도구의 등장은 점점 3D 영역이 전통적이고 정적인 고퀄리티 CG 중심에서 클라우드 렌더링 환경과 웹 기반 환경으로 넓혀지고 있음을 알 수 있습니다.

AI 3D 워크플로우는 표준화된 3D 생태계를 기반으로 성장 중

AI 기반 콘텐츠 제작이 본격화될수록 표준화되지 않은 3D 자산은 더 이상 활용될 수 없습니다. 현재 모두가 관심을 가지고 지켜보고 있는 text to 3d, image to 3d 기술들은 아웃풋이 기본적으로 이런 글로벌 표준 어셋에 대응하는 glb 파일 확장로 출력되고 있으며 World Lab 등의 3D AI 공간 생성 설루션도 WebGL과 전통 소프트웨어 모두에게 대응할 수 있는 표준 안에서 결과물을 제공하고 있습니다.

결국 새롭게 변화하는 미디어 환경과 사실, 이미 변화했지만. 앞으로 AI를 활용한 프로덕션에 대응하기 위해서도 3D 어셋의 표준화는 불가피한 것입니다. 사실 이미 늦었습니다.

새로운 프로덕션 구조를 제안했지만...

다년간 XR 스타트업에서 일하며 이런 트렌드의 흐름을 쫓아가고 있던 저에게 그리고 최신의 AI 트렌드를 직접 연구하고 있던 저에게는 현재의 폐쇄적인 어셋 매니지먼트 시스템은 개혁 대상이었습니다. 처음부터 데이터를 글로벌 표준으로 제작한다면 기존에 쓰고 있던 전통적인 미디어에 대응하기 위한 워크플로우뿐 아니라 XR, AI 워크플로우 모두에 대응할 수 있습니다. 아무리 제작 도구를 만든다고 한들 제작 재료가 없다면 도구를 활용할 수 없기 때문에 어셋 매니지먼트 시스템의 어셋들을 표준화하는 과정과 그 표준화 과정을 담당하고 내재화할 내부 조직 개설을 제안했습니다. 또 한편으로는 그 조직으로부터 전 구성원이 표준화된 어셋을 받아 AI 툴에서 활용할 수 있도록 제가 설계한 프로토타입을 기반으로 툴을 개발하고 운영할 수 있는 스튜디오 단의 조직 구성도 제안했습니다. 그렇지만 개인이 발제한 이런 구조 개선안은 조직 구조, 비용 처리, 이해관계 등의 이유로 제대로 다뤄지지 못했습니다. 3D 데이터를 어떻게 구조화하고 공유하느냐가 더 중요해진 지금 안타까웠습니다.

그래서 저는 표준화된 어셋 매니지먼트 시스템을 제안하는 한편 표준화된 어셋 시스템이 준비되었을 때 대응할 수 있도록 저의 웹 기반 3D 엔진을 장착한 프로토타입을 더 발전시키기로 합니다. 구조가 바뀌기를 기다리는 대신 구조가 바뀌었을 때 곧바로 쓸 수 있는 도구를 계속 만들어보기로 했습니다.