brunch

매거진 TT3의 추억

라이킷 9 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by PH Apr 23. 2024

TT3, 왜 KDL은 폴리그라운드를 만들었을까?

3D DX팀 만의 힘으로는 ‘수십만 개의 데이터셋을 구축’은 불가능해요.

안녕하세요 Luke,

리드하고 계시는 3D DX팀이 담당하는 업무영역은 한국딥러닝(KDL) B2C 비즈니스의 핵심으로 여겨집니다. 그런데 일반인들도 이해가능할 정도로 대중적인 분야가 아니라서 구체적으로 어떤 것을 하는지 이해가 안 가는 분들이 훨씬 많을 듯해요.

글로벌, 국내 시장에서 3D 에셋은 어떤 산업에서 어떤 고객들이 주로 사용하는지, AI 비즈니스 중 왜 TT3가 한국딥러닝의 중장기 비즈니스 모델 아이템이 될 수밖에 없었는지 설명해 주세요.

2019년부터 한국딥러닝은 AI 분야에서 활약을 해왔기에 이번에는 왜 3D 분야에 뛰어들게 되었는지 궁금한 분들이 있을 것 같습니다.

3D DX팀 리더 Luke는 크래프톤, 라이온하트 등의 유명 게임사에서 3D 데이터 경험을 다양하게 축적하였고, 국내 유일한 포토스캔 책을 집필했습니다.

우선 3D 에셋이 쓰이는 분야부터 설명드릴게요.

3D에셋은 이미 다양한 분야(게임, 영상, VR, 메타버스 등)에서 사용하고 있습니다. 게임 장르에서는 주로 3D 게임 개발에서 많이 활용되는데요. 유명한 게임을 예로 들면 배틀그라운드, 리그오브레전드, 젤다의 전설 등이 있습니다. 영상 장르에서는 영화나 드라마, 광고 등에서 활용되고 있습니다. 또한 VR, 메타버스 장르에서도 3D 공간을 표현하기 위해 사용됩니다.

한국딥러닝(KDL)과 저희 3D DX팀의 가장 중요한 목표를 알려드리자면, TT3(Text to 3D)의 개발을 통해 현재 고 비용, 많은 시간이 소요되는 3D 분야의 문제를 혁신적으로 해결하는 것입니다. 현재 생성형 AI 중 2D 분야, Text to Image가 시장에 나오고 나서 다양한 산업분야에서 큰 바람을 일으키고 있습니다. KDL은 그 바람이 몇 년 안에 3D 분야로 향할 것이라 생각하고 있고요. 즉, Text to Sound, Image → Video → 3D가 될 것이라고 생각하는 것이죠. 이 중 TT3는 Text to 2D에 비해 현재까지 산업 전반에 큰 영향을 못 미치고 있습니다. 그 이유는 고품질 데이터셋 의 부재*¹와 미진한 그래픽 하드웨어 발전*² 때문이라 생각합니다.

그중 *¹고품질 데이터셋 부재의 경우, 3D 데이터셋이 KDL의 경쟁력 될 것이라 생각합니다. 전 세계적으로 KDL처럼 고품질 데이터셋을 5천 건 이상 대량 구축해두고 있는 곳은 소수 회사에 불과한 데다 우리가 가진 3D데이터는 리얼한 느낌의 데이터(물리기반렌더링(PBR) 환경 기반한 매우 사실적인 데이터)들입니다.

사실 이런 물리기반렌더링이 탑재되어 있으면서도 사실적인 공간을 구현하는 엔진 프로그램과 3D를 제작/구현하는 프로그램들이 아직 10년도 되지 않았습니다. 그전까지 3D 아트 이미지는 빛의 하이라이트와 빛으로 인해 생기는 그림자를 작업자가 직접 손으로 그려서 표현을 했던 것입니다.

*²미진한 그래픽 하드웨어 발전에 대해 설명드리기 위해서는 스테이블 디퓨전이 적절한 예시가 될 것 같네요. AWS 내 엔비디아 A100 GPU 256개를 활용해 그간 15만 시간 학습을 진행했으며 그 학습에 소요된 비용은 약 60만 달러가 사용되었다고 전해집니다. 게다가 해당 학습 데이터셋이 인공지능 모델 학습에 저작권이 포함된 이미지가 활용되었다는 이유로 게티 이미지와 여러 작가들이 소송을 제기했다고 합니다. 그동안 2D 아트 이미지를 만드는 데만 해도 이런 식으로 투입되는 비용들이 문제로 인식되어 왔습니다. 더욱이 앞으로 새로운 바람을 일으킬 3D 데이터는 2D 보다 훨씬 더 많은 비용을 발생시킬 것이라 전문가들은 예상하고 있습니다. 이처럼 그래픽 하드웨어는 A100 GPU 256개를 15만 시간 학습을 시켜서 2D를 만드는 AI를 만드는데 도움을 주었는데, 이보다 한 차원 더 추가되는 3D는 현재 하드웨어 수준으로는 얼마나 더 걸릴지... 저는 아주 까마득하게 느껴집니다. 그나마 다행인 점은 지금은 반도체 AI 기술 전쟁의 시대이고 AI를 위한 하드웨어 발전이 전 산업에 있어서 매우 절실한 상황이기 때문에 조금은 신속한 발전이 이뤄질 거라 예상하고 있습니다.

저는 위 두 가지 사항을 근거로 3D 에셋 시장은 고품질의 데이터셋이 필요할 거라 생각합니다. 그것을 위해서 한국딥러닝(KDL)에 합류 후 POLYGROUND(폴리그라운드) 플랫폼 내 고품질의 3D를 자체적으로 제작 생산해내고 있습니다.

여기서 꼭 짚고 넘어갈 것은 오로지 저희 3D DX팀 만의 힘으로는 ‘수십만 개의 데이터셋을 구축’을 달성하는 것은 불가능하다는 것입니다. 전 세계 3D 아티스트분들이 폴리그라운드 유입이 절실히 필요한 상황입니다. 그렇기에 올해 안에 유저 참여형 서비스 기능을 개발해 다양한 유저들의 니즈를 구현할 계획이고, 이곳저곳에서 올라올 데이터를 모두 모아볼 예정입니다.

저희가 나아가야 할 생성형 AI 개발 방향은 3D가 빠지기 어려울 거라 생각합니다. 저희 한국딥러닝은 Photogrammetry 기술을 기반으로 단기간 많은 고품질의 데이터를 모아 왔고, 앞으로도 그럴 계획입니다. 이 글을 읽는 많은 분들이 응원해 주시고 관심 부탁드립니다.