사진 1장만 있으면 틱톡 댄스 챌린지를 할 수 있다고?
최신 AI 소식을 들려드립니다
오늘은 새로운 AI 소식을 들고 왔습니다. 바로 최근에 발표된 "Animate Anyone" 프로젝트입니다.
Animate Anyone는 말 그대로 누구나 이미지로 비디오를 생성하는 것을 목표로 개발된 기술입니다.
출처 https://humanaigc.github.io/animate-anyone/이미지 1장만 있으면 영상을 만든다고요?
이미지를 영상로 만들기 위해서는 딱 2가지가 필요합니다. 바로 움직이게 만들고 싶은 레퍼런스 이미지와 동작을 가이드 해줄 수 있는 뼈대가 필요합니다. 데모를 보시면 훨씬 이해가 쉬울 거예요.
이렇게 원하는 사진 1장과 뼈대만 있으면 자연스러운 영상을 만들 수 있습니다. 사람, 애니메이션, 3D 캐릭터까지 어떤 스타일의 이미지든 움직이는 영상이 되네요. 너무 신기하죠?
사실 이미지를 비디오로 만드는 시도는 있었지만 움직임이나 배경이 복잡한 경우에 중간중간 어색한 동작들이 보이는 문제가 있었는데요. 이번 논문 결과를 보면 어색한 프레임 없이 자연스러운 동작을 만들어낼 수 있습니다.
어디에 쓸 수 있을까?
이 기술이 실제로 적용된다면 어떤 산업에 활용할 수 있을까요? 논문에서는 패션 비디오를 합성하는 것과 춤추는 영상을 만드는데 제일 좋은 성과를 보였다고 합니다. 영상에서 'Reference Image'와 'Ours'를 보시면 모델이 자연스럽게 포즈를 취하는 영상이 보이시죠?
중간에 있는 DreamPose와 BDMM은 이전에 시도되었던 기술인데 비디오로 만들어지는 중간에 동작마다 어색한 부분이 생기는 것을 볼 수 있어요. 하지만 이번 논문에서 만든 'Ours'는 아주 자연스러운 영상을 만들었네요.
이런 춤추는 영상도 아주 자연스럽게 만들 수 있는데요. 틱톡에서 많이 본 영상이죠? 실제로 틱톡의 영상들로 실험한 결과라고 합니다. 이제 사진 1장만 있으면 저도 유행하는 춤들을 모두 출 수 있겠어요 :)
자세한 내용은 원본 논문 링크를 달아두었으니 구체적인 기술과 구현 방법을 보고 싶은 분들은 아래 링크를 참고해 주세요.
정말 이미지 한 장으로 비디오를 만드는 시대가 머지않은 것 같아요. 빠르게 발전할 기술이 기대됩니다.
