한 달 만에 해치운 메타버스 디자인썰, 궁금하신가요?
4주 스파르타 스케줄의 솔직한 기록
안녕하세요, Web 3.0 프로덕트 디자이너 Lianji입니다.
오랜만에 좋은 소재가 생겨 기록차 글을 씁니다.
사실 전 산업디자인학과 출신입니다. 1학년때부터 기본적인 3D 툴을 배워요. 하지만 일찌감치 깨달았습니다, 전 이 쪽으로는 재능이 없다는 것을...컴퓨터 모델링을 하느니 차라리 손으로 지점토 반죽 빚기를 선택하는 사람임을요. 원하는 모양의 디자인을 하기 위해 거쳐야하는 계산이나, 명령어를 익히거나 하는 것들이 그렇게 머리가 아플 수가 없었습니다. 이런 제가 한 달만에 AI 메타버스 컨셉 디자인과 프로토타입을 얼렁뚱땅 만들게 된 사연을 풀어보고자 합니다. 흥미진진하시다면 쭉쭉 읽어주세요.
Week 1. 사건의 발단
요즘 디자이너들은 하나만 잘하지 않습니다. 새로운 분야의 진입장벽을 낮춰주는 쉬운 툴이 잘 나오기도 하구요. 디자인 트렌드를 따라가다 보면 능력 욕심에 영상, 모션, 코딩, 모델링 등을 찍먹해보기도 합니다.
저희 디자인팀은 분기마다 주제를 잡고 툴 스터디를 하거나, 디자인 아티클 리뷰, 책 리뷰를 진행합니다.
23년 2분기 동안에는 팀 전원의 스킬 향상을 위해 웹기반 3D 툴 스터디와 프롬프트 아트 스터디를 진행했습니다. 제가 담당했던 툴은 Spline 이라는 툴이었죠. 사용해보니 정말 '세상 좋아졌다'라는 말이 절로 나오덥디다. 가볍고 빠른데 웹 export도 잘 되고, 프롬프트로 모델링을 하는 기능까지 준비 중인, 새 시대에 맞는 3D 툴이라고 느꼈어요. 대학교 때 이 툴로 먼저 3D를 접했다면 냅다 수업을 드랍하는 답 없는 학생이 되진 않았을 것 같습니다.
무튼, 전 이 툴을 먼저 사용해보고 팀원분들에게 응용법을 알려드리기 위해 테스트 모델링을 했습니다.
회사의 노드 NFT인 루노가 그 주인공이었죠.
루노를 간단히 설명하자면, 저희가 개발하는 AI Network 블록체인 생태계에서 AI 개발을 위해 열심히 달리는 컴퓨터 친구들입니다. 캐릭터 하나 하나는 CPU, GPU 노드에요. 그리고 이 친구들이 운동화를 신고 있는 이유는 'Running 상태인 노드'자체를 표현하기 위한 메타포랍니다.
거대 모델을 연산하는 GPU 노드를 모은다.
그 위에 오픈소스 AI 모델들을 바로 작동 가능한 상태로 올린다.
크리에이터들이 AI를 이용해 창작물을 만든다.
AI Network는 이런 생태계를 만들고 있습니다. 위 그림의 세 가지 레이어가 AI Network의 전체 생태계이고, GPU인 루노는 생태계의 기반이 됩니다. FT 채굴을 GPU NFT로 채굴할 수 있는 저희만의 특이한 시스템이에요. 루노는 AI 모델과 AI 프로젝트에 자원을 제공하고, 루노 홀더들은 그 보상으로 AIN을 받아갈 수 있죠.
루노는 2D 캐릭터로 완성되어 NFT로 판매되고 있어요.
이 친구를 3D로 만들어보는 작업을 먼저 진행해보았고 툴 사용법을 대략 익힐 수 있었습니다. 투자한 시간은 이틀 남짓이었지만, 생김새가 단순하다보니 그리 어렵지 않았어요. 전 뿌듯하게 스터디를 끝냈고, 이렇게 잊혀질 줄 알았습니다만...이 친구는 사건의 발단이 되었습니다!
Week 2. 루노월드의 서막
https://www.aitimes.com/news/articleView.html?idxno=150461
스탠포드와 구글에서 공개한 위 프로젝트를 본 적 있으신가요?
AI 에이전트들에게 각각의 성격과 역할을 부여하고 마을에 풀어두었더니, 알아서 상호작용하며 살아가더라...는 내용의 연구입니다. 최근에는 디자이너와 개발자 AI 에이전트들이 게임을 만들기까지 했다고 하더라구요.
https://www.youtube.com/watch?v=Zlgkzjndpak
저희 또한 현재 프롬프트를 이용해 캐릭터와 맵을 제너레이션 할 수 있는 메타버스를 만들고 있습니다.
아니, 메타버스라는 표현보다 사이버 테라리움이라는 표현이 더 가까운 것 같아요.
내 캐릭터의 인격, 말투, 입는 옷, 사는 곳을 상상하는 대로 적어 묘사하면 AI 캐릭터가 뿅 태어나고, 이들이 커뮤니티를 이뤄서 알아서 살아가는 그림이거든요. 정말 컨셉추얼 하지요? (이게..진짜 되나..?하는 아이디어와 프로젝트들을 많이 진행하다보니 가끔 제가 몸 담은 이 곳이 대학원 연구소인지 영리회사인지 헷갈립니다..)
우선 기능부터 구현하는 과정이었는데, 이 메타버스의 세계관이 명확하지 않다보니 디자인팀에게 SOS가 들어왔습니다. 저희는 유저에게 보여줄 말끔한 포장이 필요했어요.
외주 개발팀 계약이 한 달 남은 시점에서요.
아래가 저희에게 전달된 시나리오 요구사항이었습니다.
프롬프트를 통해서 캐릭터 디자인을 할 수 있다.
프롬프트를 통해서 캐릭터 Persona를 생성할 수 있다.
프롬프트를 통해서 맵을 생성할 수 있다.
맵 안에 캐릭터가 생성되면 혼자서 말하면서 돌아다닐 수 있다.
유저가 맵에 들어가면 돌아다니는 캐릭터랑 대화할 수 있다.
그리고 기획이 확정되면 아래를 준비해 개발팀에 전달해야 했죠.
서비스 와이어프레임
프롬프트 조합용 3D asset 파일 묶음
3D asset에 맞는 프롬프트 키워드 분류
시나리오를 와이어프레임으로 다듬는 과정은 내부에서 어떻게든 소화할 수 있을지라도(UX.Y팀 리드 아영님은 슈퍼우먼이십니다) 저희에겐 블렌더나 마야를 쓸 줄 아는 디자이너가 부재했습니다.
남은 기간이 한 달 뿐이라 디자인 외주를 구하기도 쉽지 않았기에 이것 또한 내부에서 해결해야한다는 결론.
팀 리드 아영님은 곧바로 디테일한 유저 시나리오와 와이어프레임 작업을 시작하셨고, 저는 고작 2-3일 배운 Spline을 다시 켜서 에셋 디자인 작업을 시작했습니다!
Generative AI를 위한 메타버스 공간에 어울리는 캐릭터인가,라는 질문은 당시 저희에게 중요하지 않았습니다. 그나마 전달할 수 있는 유일한 3D 에셋은 루노 뿐이었으니까요.
일단 MVP는 루노월드로 간다! 다 같이 달려!
Week 3~4. 에셋 공장 가동
아래가 3일 정도 들여 완성한 루노월드의 프로토타입입니다.
Spline은 웹 기반에다, 렌더링을 기다리는 시간 없이 애니메이션 결과물도 바로 확인할 수 있다는 장점이 강력합니다. Preview 모드도 편해서 완성된 파일을 링크로 어디든 공유할 수 있고, 튜토리얼이나 예제 라이브러리도 잘 만들어져 있기 때문에 시작이 쉽습니다.
그리고 이 툴의 꽃은 연출이더라구요. 포토샵을 쓰듯이 객체의 머터리얼에 레이어를 추가해 파스텔 톤의 반사광을 입히거나, 라이팅 값과 컬러를 조절해 생동감을 더할 수 있습니다.
<-편집 전 / 편집 후 ->다만 아쉬웠던 점은 블렌더나 마야같은 전문 3D 툴과의 호환 이슈였습니다.
FBX 파일로 전달을 해야하는 상황이었는데 해당 확장자로는 export가 안되는 겁니다. 편집한 머터리얼을 그대로 살린 채 파일을 export 하는 게 불가능했고, 개발용 파일을 만들 때는 다시 블렌더에서 확인하고 편집하는 과정이 필요했어요.
그 밖에 루노가 착용할 모자와 신발들을 만들고, 맵 위에 올라갈 에셋들을 무료/유료 파일 구분 없이 긁어모았습니다. 프롬프트로 생성될 맵 에셋의 조닝을 나눠 생성 규칙을 나름 정해보기도 했어요. 시간이 없어 반영되지 못했지만, 플랫한 화면 디자인만 하던 저에겐 생각보다 고차원의 퀘스트였습니다.
그리고 이렇게 싹싹 긁어모은 에셋들에 맞는 묘사를 시트로 정리했습니다. 유저가 입력하는 프롬프트에 따라 어울리는 아이템이 알아서 생성될 수 있도록요. 이때 당시 저는 Spline과 블렌더를 동시에 배우면서 시행착오를 겪고 있었기에 멘탈이 터져있었습니다! 파일 정리와 시트 정리는 동료 DiDi님이 몇일 밤을 새서 처리해주셨기에 제가 지금까지 살아있습니다. 제 목숨을 지켜주셔서 감사해요 DiDi!
회고. Generative AI를 위한 공간은 왜 필요할까?
고생은 고생대로 했는데, 역시 세상 일이 쉽지 않습니다.
개발 계약이 한 달 남은 시점에서 갑자기 기획이 치고 들어오고, 디자인이 바뀌고, 그에 따른 추가 task들이 쏟아지니 개발하시는 분들도 고생이 너무 많으셨어요. 블렌더는 켜보기만 한 것이 고작이었는데, 더듬더듬 익혀가며 파일을 드리니 속도가 나지 않아 너무 답답했고, 급한 마음에 실수가 계속되어 반복 작업이 잇따랐습니다.
MVP 완성은 계획대로 되지 못했어요. 계약이 끝났고, 저희는 하던 것을 잠시 멈췄습니다. 다시 모여 구멍이 많은 기획을 다시 들여다보고 있는 중이에요.
글을 적는 데에 가장 많이 고민한 지점은 이 부분입니다. 이 공간 자체가 필요한 이유요.
보통 프로덕트는 유저의 Needs나 Pain point에서 출발하죠. 하지만 저희는 기능 개발부터 거꾸로 시작했습니다. Why가 분명하지 않은 상황에서 How와 What만 공장처럼 만들어 내고 있다보니 내부에서도 의견이 하나로 좁혀지지 않습니다.
저도 잘 모르겠습니다. 요즘은 Common Computer가 문제를 해결하려는 집단이라기보다 물음표를 던지는 집단이구나, 하는 생각이 듭니다.
당분간 그 이상은 생각하지 않으려구요.
언젠가 대표님의 이야기를 듣다가, 계속 곱씹게 되는 질문이 있었어요.
지능 자체에는 목적이 있을까요?
지금 같은 목적을 위한 지능이 팔리는 세상이 답일까요?
그렇다면 AI에게도 학교나 커뮤니티가 필요하지 않을까요?
인공지능은 인간이 창작을 시작할 때 빠르게 스케치를 그려주는 유용한 도구라고 생각했습니다. 많은 사람들이 이렇게 생각하겠죠? 그런데 도구라는 틀에서 벗어나서, '지능'이라는 것 자체를 디자인한다는 행위가 무슨 의미인지 생각해보는 게 필요하지 않을까해요. 생각보다 정치적이고, 철학적이고, 종교적인 고민으로 이어지게 됩니다. 인공지능은 결국 인간의 연장선이기 때문에 완전무결할 수가 없습니다. 기술 발전의 정점에 있는 것 같아도 가장 느리고 길게 고민해야 하고, 사람의 선의에 기대야 할 것도 많은 딜레마 덩어리입니다.
스스로 상태를 변화시키는 인공지능과 그가 살아가는 세상은 정말 빨리 올 것 같습니다. 회사도 다니고, 디자인도 하는 인공지능이 계속 태어나고 있으니까요. 자기가 필요하다고 판단되면 학위도 따고 기술도 배우는 인공지능 정도야...다음 달엔 나오지 않을까요? 저희는 그 친구들이 살아갈 수 있는 판을 만들고 있네요. 어떤 모습으로 언제 어떻게 태어날 지 모르겠지만요...저희는 대체 뭘 만들고 있는 걸까요?
제가 이런 SF 회사를 다니고 있었다니 오늘도 참 놀랍습니다!
다음 포스팅도 어이없는 실패담으로 돌아오겠습니다.
