현실을 3D로 복제한다?

순식간에 물리법칙까지 구현하는 생성형 3D 모델 Seed 1.0

혁신적인 AI 3D 생성 모델의 발표

바이트댄스 시드의 소개 메인페이지 (출처:https://seed.bytedance.com/en/seed3d)

10월 12일 바이트댄스에서는 시드 1.0이라는 3D 생성 모델을 발표했다. 기존에도 3D생성 AI 모델은 있었지만, 바이트댄스에서는 사진 만으로도 공간 자체를 구현하고 물리법칙을 적용하는 '디지털트윈'에 가까운 개념으로 구현할 수 있도록 한 것이다. 이런 시도는 기존까지 없었을뿐더러, 로봇 시뮬레이션까지 연동시키는 창의적인 활용 방안을 제시했다. 지금까지 메타버스와 디지털 트윈이 보편화되지 못한 데에는 현실적인 문제가 있었다. 데이터를 모두 직접 사람이 만들고 가공해야 하는 것이었다.

3D모델링부터, 텍스쳐링, 리깅, 물리적용까지 사람 손이 닿지 않을 수 없었다. 당장 지금 앉아있는 공간을 디지털 트윈으로 만들려면, 수십일에 달하는 모델링 시간과 프로그램 개발이 필요하다. 하지만 이제 조금이라도 시간을 줄일 수 있게 되었다.

융합되며 더 큰 효과를 발휘한다.

그런 시점에서 메타버스와 디지털트윈 세계는 점점 더 현실성 있는 이야기가 된다. 빠른 가상세계 구축을 돕는 AI모델은 언리얼 엔진의 '나 나이트(Nanite)'와 톱니바퀴처럼 맞물린다. 언리얼엔진 나 나이트는 가까이 있는 3D모델의 폴리곤은 디테일하게 보여주고, 멀리 있는 폴리곤은 대충 뭉뚱그려 최적화를 이루어 낸다.

언리얼엔진 나 나이트 예시(출처:언리얼엔진 공식홈페이지)

우리가 멀리 있는 산을 보면 흐릿하게 보이는 것과 같은 원리이다. 물론, 3D생성 AI모델은 시드 1.0만 있는 것이 아닌 텐센트의 Hunyuan(훈위 안)이 있다. 현재 3.0 버전까지 나왔으며, 여러 각도의 사진을 정확히 인식해 디테일이 높은 '멀티뷰' 생성을 지원한다.

바이트 댄스의 시드는 기본적으로 생성 단계 까지는 기존의 모델과 크게 다르지 않은 생성 방식을 갖고 있다.

바이트댄스 시드 소개페이지 (출처:https://seed.bytedance.com/en/seed3d)

이미지가 들어오면, RawMesh(기본바탕이 되는 메시)를 생성한다. 그 후 3D 툴에서 편집하고 사용이 가능한 QuadMesh(4각 메시) 생성한다. 3각도 사용하긴 하지만, 쿼드메시가 편집에 더 용이한 부분이 있어 보통 쿼드메시를 사용한다. 이후 UV텍스쳐라는 일종의 포장지를 만들고, 이것을 감싼 후 모델에 색을 입힌다. 그리고 다시 펼치게 되면 그림이 그려진 포장지(UV텍스쳐)가 나온다. 이후 차별화된 물리 시뮬레이션을 적용한다.

바이트댄스 시드 소개페이지(출처:https://seed.bytedance.com/en/seed3d)

기술 문서에서는 상업표준 물리시스템 환경과 쉽게 통합되도록 만들어졌다고 설명한다. [integrated into industry-standard physics simulation environments (e.g., Isaac Sim)] 그리고 물체의 마찰, 재질 등을 고려해 로봇팔이 집거나 사용하는 시뮬레이션에도 활용 가능하다.

결국 AI는 시각적인 구현뿐만 아니라, 현실의 데이터까지 학습하고 만들어 내는 수준이 왔다. 인간이 이 엄청난 기술들을 어떻게 활용할지는 모른다. 하지만 그 활용 사례 중 일부는 가상 세계를 구현하고, 시뮬레이션하기 위해 사용할 것이 분명하다. 우리가 말하던 메타버스와 디지털 트윈이 실체를 갖추고 있다. 어떻게 바르게 기술을 활용하고 안전하게 사용할지 진지하게 고민해봐야 하는 때가 온 것 같다. 결국 끝에는 이런 기술로 메트릭스를 만들어낼까? 유토피아를 만들어낼까?