김동은WhtDrgon.
참고: 이 글은 포스팅했던 글을 좀 더 풀어서 정리한 글입니다.
<AI와 메타버스. 기술 지형도에 대한 분석과 전망 개인적 전망>
메타버스가 닷컴처럼 버블이 끝나고 본격적인 구현이 되는 시점을 3년 정도로 봤고 내실을 쌓는다고 쌓았는데 이제 내년이 4년차입니다. 메타버스제작사가 약진해야하는 승부지점이기도 합니다.
메타버스는 지난 3년간의 거품 시기를 지나 이제 실질적인 구현기에 접어들 것으로 보입니다. '거품'이란 실제 가치보다 과대 평가된 상태를 의미하는데, 이는 2000년대 초반 인터넷 기업들이 겪었던 닷컴 버블과 유사한 패턴을 보이고 있습니다. 당시에도 수많은 닷컴 기업들이 등장했다가 사라졌지만, 아마존이나 이베이처럼 실제 가치를 창출하는 기업들은 살아남아 성장했습니다. 2024년은 메타버스 제작사들도 이러한 시험대에 오르는 해가 될 것입니다.
이 시점에서 메타버스의 본질을 다시 정의할 필요가 있습니다. 결국 메타버스는 '비주얼 웹 공간'의 진화된 형태라고 볼 수 있습니다. 웹의 모든 요소들이 시각화되는 과정이며, 여기서 공간의 시각화는 다른 모든 요소들의 변화를 이끄는 핵심 동력이 됩니다. 기존 웹의 유저 계정은 아바타가 되고, 웹페이지는 3D 공간으로 구현됩니다. VR 기기의 역할은 이러한 디지털 공간을 더욱 실감나게 경험하고, 나아가 현실 세계와의 디지털 트윈을 구현하는 것입니다. 이러한 맥락에서 애플이 단순한 VR이나 몰입형 경험이 아닌 '공간 컴퓨팅'을 핵심 개념으로 제시한 것은 메타버스의 본질을 정확하게 파악한 전략이라고 할 수 있습니다.
이미 "메타버스를 만들겠다"는 선언만으로는 시장을 설득할 수 없는 시기가 지났지만 이제 그 개념을 현실적으로 전개하여 시장을 개척할 시점이 도래했다고 생각합니다. 이러한 비주얼 웹 공간을 얼마나 효과적으로 구현하고 실질적인 가치를 창출할 수 있는지가 관건이 될 것입니다.
생성형 AI 기술의 판도를 보면, 텍스트와 이미지 생성 AI의 치열했던 경쟁은 어느 정도 마무리된 듯합니다. OpenAI의 ChatGPT로 시작된 대규모 언어 모델의 혁신과 Midjourney, DALL-E로 대표되는 텍스트-이미지 생성 모델의 경쟁은 이제 성숙기에 접어들었습니다.
이제 전장은 비디오와 3D AI 영역으로 옮겨갈 텐데, 이 부분이 특히 흥미진진합니다. 축구는 관심 없어도 한일전은 보게 되듯이, 미중 간의 기술 전쟁은 새로운 엔터테인먼트가 될 것입니다. 단순한 기술 경쟁을 넘어, 실리콘밸리로 대표되는 '혁신의 자유'와 중국의 '통제된 발전' 간의 충돌이기 때문입니다. 이는 마치 자본주의와 공산주의의 체제 경쟁이 우리에게 흥미진진했던 것처럼, AI 시대의 새로운 이데올로기 전쟁이 될 것입니다.
이 경쟁에서 가장 주목할 만한 것은 '객체적 비디오 구성'의 실현 가능성입니다. 현재의 AI는 이미지를 하나의 덩어리로 생성하지만, 앞으로는 한 장의 이미지에서도 공간 깊이와 객체들을 완벽하게 분리해낼 수 있게 될 것입니다. 이는 단순한 레이어 분리가 아닙니다. 게임 엔진의 레이어드 렌더링처럼, 하늘, 건물, 나무, 사람 등 모든 요소가 독립적인 3D 에셋으로 분리되어 메타버스 제작의 자동화를 가능하게 할 것입니다. 더 나아가, 하나의 이미지에서 3D 지형과 그에 맞는 에셋들을 동시에 생성할 수 있게 됩니다. 예를 들어, 산맥 이미지 하나에서 지형의 높낮이 정보, 식생 분포, 암석 텍스처까지 모두 자동으로 추출하여 즉시 게임이나 메타버스에서 사용 가능한 에셋으로 변환할 수 있게 되는 것입니다. 이 방식은 우연을 반복해야하는 현 상태를 비약적으로 바꿔줄 기대기술입니다.
현재 AI는 놀랍지만 이제 평범의 영역에 도달하며 그 한계를 넘어야하는 지점에 왔습니다. 지금의 한계는 '우연성'에 지나치게 의존한다는 것입니다. 지금의 AI는 마치 소방호스로 물을 무작위로 뿌리는 것처럼 작동합니다. 기술적으로는 이를 '디퓨전 모델'이라고 부르는데, 수많은 노이즈를 생성하고 이를 점차 정제해가면서 원하는 결과물을 찾아내는 방식입니다. 이는 마치 원숭이가 타자기를 두들겨서 우연히 셰익스피어의 작품이 나오기를 기다리는 것과 비슷합니다. 같은 프롬프트로 열 번을 시도하면 열 개의 전혀 다른 결과물이 나오고, 우리가 원하는 결과를 얻으려면 수십 번의 시행착오가 필요합니다.
하지만 곧 '캔버스 모델'이라는 새로운 패러다임이 등장할 것입니다. 이는 화가가 캔버스에 신중하게 붓질을 더해가듯, 기존 작업물을 토대로 원하는 부분만 섬세하게 수정하고 발전시키는 방식입니다. 단순한 수정 도구가 아닌, AI 창작의 본질적인 접근 방식의 변화입니다. '우연성'에서 '필연성'으로의 전환, 다시 말해 예측 불가능한 결과물을 기대하는 것이 아니라, 의도한 대로 정확한 결과물을 만들어낼 수 있게 되는 것입니다. 이는 AI 생성물의 재현성과 실용성을 보장하는 혁신적인 전환점이 될 것입니다.
이러한 캔버스 모델과 긴밀하게 연결되는 것이 AI 에이전트들의 협업 체계입니다. 이는 마치 빅토리안 시대의 저택을 연상시키는데, 집사장과 하녀장 휘하에 수십 명의 하인들이 각자의 역할을 수행하면서도 서로 견제하고 보완하는 것과 같습니다. 예를 들어, 새로운 3D 모델을 만들 때 한 AI가 기본 형태를 생성하면, 다른 AI는 이것이 물리 법칙에 맞는지 검증하고, 또 다른 AI는 게임 엔진과의 호환성을 확인하며, 집사장 격의 관리자 AI가 이 모든 과정을 조율합니다.
이러한 에이전트 시스템은 특히 IOT 환경에서 필수적입니다. 예를 들어 스마트홈에서는 정말 재미있는 AI들의 상호작용이 벌어질 것입니다. 요리 AI가 건강식 식단을 제안하면 헬스 AI가 "오늘 운동량으로는 과한 칼로리입니다"라며 견제하고, 집사장 AI가 "그렇다면 저녁 운동을 30분 더 추가하는 것은 어떨까요?"라고 중재하는 식입니다. 이것은 단순한 자동화가 아닌, 우리 삶을 더 풍요롭게 만드는 지능형 생태계의 탄생을 의미합니다.
로컬 환경에서 작동하는 미니 AI 모델의 등장은 단순한 기술 축소가 아닌, 컴퓨팅의 패러다임 전환을 의미합니다. 이는 블루투스의 진화를 보면 이해하기 쉽습니다. 과거 블루투스 기능을 구현하려면 여러 개별 부품이 필요했지만, 지금은 작은 칩 하나로 모든 것이 해결됩니다. AI도 이러한 경로를 따를 것입니다. 특히 주목할 점은 이것이 코딩의 미래를 근본적으로 바꿀 것이라는 점입니다. 현재의 프로그래밍은 마치 전자 부품을 일일이 납땜하는 것과 같은 '하드코딩'으로 여겨질 것입니다. 프로그래밍 자체가 마치 회로도에서 저항이나 콘덴서를 배치하는 것처럼 통합되지 않는 부분을 처리하는 수단으로 간주될 날이 올 수 있습니다.
메타버스 플랫폼 시장은 이제 실질적인 경쟁이 시작됩니다. 현재 로블록스가 선두주자로 보이는데, 이는 단순한 사용자 수나 매출 때문이 아닙니다. 로블록스는 사용자들이 직접 콘텐츠를 제작하고 수익을 창출하는 생태계를 성공적으로 구축했습니다. 에픽게임즈의 UEFN은 언리얼 엔진의 강력한 개발 도구를 기반으로, 엔비디아의 옴니버스는 전문가급 3D 협업 환경을 무기로 경쟁에 뛰어들고 있습니다.
이는 넷플릭스가 OTT 시장을 장악했던 것과 유사한 플랫폼 전쟁이 될 것이며, 내년에는 넷플릭스급의 공격적인 프로모션을 보게 될 것입니다. 이런 상황에서 네이버의 제페토나 SK의 이프랜드 같은 선발주자들은 중요한 기로에 서 있습니다. 이들은 과거 싸이월드처럼 단순히 '최초'로 기억될 것인지, 아니면 새로운 도약을 이룰 것인지 선택해야 합니다. 특히 베데스다의 폴아웃이나 스카이림 같은 검증된 게임 IP를 기반으로 한 메타버스의 등장도 기대됩니다. 이미 풍부한 세계관과 열성적인 팬층을 보유한 게임들이 메타버스로 확장된다면, 현재 메타버스 플랫폼들이 겪고 있는 '몰입도 있는 콘텐츠 부족' 문제를 해결할 수 있는 강력한 대안이 될 것입니다.
IP 시장에서는 더욱 극적인 변화가 예상됩니다. 넷플릭스가 콘텐츠 확보를 위해 제작사들을 인수하고 오리지널 콘텐츠에 막대한 투자를 했듯이, 메타버스 플랫폼들도 IP 확보 전쟁에 돌입할 것입니다. 이전과 다른 점은 IP 발굴의 속도와 방식입니다. 이제는 숏폼 콘텐츠로 조금이라도 상업성이 검증되면 즉시 매집에 들어갑니다. 학생이 만든 '펑펑 우는 친칠라'가 20억에 팔렸다는 식의 소문이 일상이 되는 시대가 올 것입니다. 캐릭터와 세계관을 중심으로 한 브랜딩이 급부상하면서, 이러한 IP들은 다양한 파생 산업으로 확장될 것입니다.
AI 서비스는 이제 '엔진'에서 '게임'으로 진화합니다. 이는 근본적인 변화를 의미합니다. 지금까지는 AI 기술이 조금만 업데이트되어도 그것을 기반으로 한 스타트업들이 연쇄적으로 도태되었습니다. 하지만 이제는 상황이 다릅니다. AI 기술 간의 호환성이 확보되면서, 작지만 안정적인 틈새시장을 공략하는 것이 가능해졌기 때문입니다. 법률 문서 작성, 패션 디자인, 건축 설계 등 특정 분야에 집중한 서비스들은 시장이 작더라도 안정적으로 생존할 수 있게 될 것입니다.
기술이 서로 평준화되면서 텍스트 기반 AI나 이미지 생성 AI가 업데이트마다 관련 스타트업들이 한꺼번에 경쟁력을 상실하는 일은 줄어들듯 합니다. 대신 법률 문서 작성, 패션 디자인, 건축 설계 등 특정 분야에 특화된 안정적인 서비스들이 등장할 것입니다. 이들은 작지만 확실한 시장을 가진 버티컬 서비스로, API나 SDK 형태로 제공되는 AI로 작동되고, 기술변화가 있더라도 이를 유지할 수 있을 것으로 보입니다.
개인적으로는 AI의 로컬-경량화부분을 더 관심깊게 보고 있습니다. 어느정도 완성버전에 이르면 이제 저용량 동일 효과의 최적화를 기대할 수 있겠죠. 개인적으로 기대하는 부분은 유휴 스마트폰을 활용한 온디바이스 AI의 가능성입니다.
2024년은 AI가 실험실을 넘어 실용화 단계로 진입하는 원년이 될 것입니다. 특히 주목할 만한 것은 버튜버와 '캔버스 애셋' 기반의 생성형 기술의 결합입니다. 버튜버는 실시간으로 움직이는 디지털 캐릭터 기술인데, 이것이 캔버스 애셋 기술과 만나면 획기적인 변화가 일어납니다. 캐릭터의 모든 요소를 실시간으로 수정하고 조정할 수 있게 되어, 마치 실제 배우처럼 자연스러운 연기와 표현이 가능해질 것입니다. 이는 단순한 아바타를 넘어 진정한 의미의 디지털 퍼포머의 탄생을 의미합니다.
20241025
김동은WhtDrgon. (주)메타버스제작사 대표