Stable diffusion deforum 사용하기
어렵네
2023년 4월 19일
오늘은 보드게임 카드 프로텍터가 도착해 몇몇 보드게임을 뜯어서 정리하고 stable diffusion webui diforum에 다시 도전해 보았다. 구글 colab 환경에서 deforum을 구동하는 방법은 아래의 유튜브를 참고했다. 참고로 diforum 디스코드는 여기를 눌러 들어가면 된다.
프레임 생성하는 게 생각보다 굉장히 오래 걸렸다. 유튜버가 하는 걸 프롬프트까지 그대로 따라 해 봤어야 했는데 욕심이 생겨서 다른 프롬프트를 적어본 것이 욕심이었을까? 총 120 프레임을 생성했고, 어떤 이미지가 생성되고 있는지 실시간으로 볼 수 있는데 실시간으로 망해가는 이미지를 보는 것이 고역이었다.
120 프레임 중 65번째이미 30 프레임부터 '이건 아닌데?' 하는 생각이 강렬히 든다. 하지만 이걸 끄는 방법은 알 수 없었기에 그냥 지켜볼 수밖에 없었다. 그렇게 120개의 망한 이미지들이 생성되었다. 120개 이미지를 만드는데 10분 이상의 시간이 걸린 것 같다. 들인 시간이 아까워서 영상까지 만들어봤다. 만들어낸 이미지를 영상으로 만드는 것은 생각보다 빨리 진행됐다.
와... 솔직히 꿈에 나올까 무섭다. 나는 눈알이 처음에 하나만 있었으면 했는데 초장부터 내 예상과는 다른 이미지가 생성됐다. 그리고 원숭이가 더 빨리 나왔으면 했는데 그것도 타이밍 조절에 실패했다.
diforum 비디오 생성기를 처음 사용해 본 감상은 "눈 감고 편집하기"같다. 에프터 이펙트나 프리미어로 편집을 하는데 영상을 만드는 중에 내가 한 것들을 창 안에서 볼 수가 없다. 카메라나 이미지의 위치를 작업 중에 볼 수 없고 x, y, z 값의 숫자를 넣는 것만 가능하다. 결과물은 오로지 export(내보내기)를 할 때만 볼 수 있다.
이전 일기에서 stable diffusion webui 자체가 일반인이 사용하기에 난이도가 있는 편이라고 이야기했었는데 stable diffusion webui의 deforum 모드도 마찬가지다. 이걸로 그럴듯한 영상을 만들어내기까지는 많은 연구가 필요해 보인다.
이미지를 그리거나 디자인하는 것, 그리고 영상을 제작하는 건 '내가 무엇을 원하고, 원하는 것을 얻으려면 무슨 동작을 해야 하는지' 정확히 알아야 가능한 일이다. 하지만 deforum을 사용해 본 결과, 이것을 이용해서 '정확히 원하는 출력물'을 만드는 것은 꽤 힘든 일로 느껴졌다. 이미지를 생성하는 것도 그렇지만 영상은 더 우연적이다. 내가 적어 넣은 프롬프트에서 예상치 못한 결과물을 뽑아내어 주니 우연성이 주는 즐거움은 확실히 있다.
하지만 정확한 기획을 실현하고 싶은 사람들에게 ai를 이용한 비디오 만들기는 약간 답답하게도 느껴질 수 있을 것 같다. 특히 자신이 편집 기술이 약간이라도 있는 사람이라면 '이럴 바에는 내가 편집하고 말지'라는 생각에 편집 프로그램을 더 공부하는 계기가 될 수도 있을 것이다. 실제로 나도 처음 생성된 영상을 보고 에펙을 더 배워야겠다는 생각을 했으니 말이다.
그럼에도 불구하고 diffusion을 이용해서 조금의 상상력과 우연이 합쳐진 뭔가를 만드는 건 꽤 재미있는 일이었다. 조금 더 탐구해서 그럴듯한 영상을 만들어 봐야겠다.
