Ai만 이용해서 3D 애니메이션 만들기
Newtudy 4기 <디자이너와 Ai>
이전글
스터디에서 진행한 프로젝트에 많은 관심을 가져주셔서 프로젝트를 소개하고 싶은 마음이 더 생기네요.
<디자이너와 Ai> 두 번째로 소개할 프로젝트는 "Ai만 이용해서 3D 애니메이션 제작하기"입니다.
애니메이션을 먼저 감상해 보세요.
어느 화창한 날. 로지는 집 근처의 숲으로 모험을 떠났어요. 걷다 보니 바닥에 버려진 오래된 그림붓을 발견하고는 호기심이 생겨 그림을 그렸어요. 이것은 마법 그림붓이었고 그림에 생명을 불어넣는 특별한 힘을 갖고 있었어요. 기대에 가득 찬 로지는 그림으로 펼쳐질 놀라운 모험을 상상했답니다.
재밌게 보셨나요?
공대생과 디자이너가 Ai만으로 작업한 결과물입니다. 공대생 팀원은 그림을 그려본 적이 없기에 애니메이션 제작을 성공했다는 사실 자체가 굉장히 의미 있는 프로젝트였습니다.
제작 과정
1. 동화 만들기
대화형 AI를 이용하여 새로운 이야기 쓰기
2. 삽화 그리기
다양한 이미지 생성 AI를 사용하여 이야기 장면을 삽화로 표현하기
3. 사운드 생성
삽화 이미지를 참고하여 이야기에 어울리는 배경음악 제작
4. 애니메이션 제작
앞서 제작한 여러 형태의 소스들을 기반으로 움직임을 추가하여 최종적으로 단편 애니메이션 제작
먼저 ChatGPT를 이용해서 스토리를 만들었습니다.
여러 가지 생성 Ai를 시도해 보면서 Bing이 가장 좋은 그림을 그려줬습니다.
그리고 Ai가 어려워하는 단어들이 분명 있는데 이 프로젝트에서는 "magic paintbrush" 단어를 잘 인식하지 못했습니다.
이미지 생성 Ai의 실험을 다양하게 시도하면서 얻은 주요 결론은 다음과 같습니다.
잘 그리는 조건
정자세
단일 대상(사람, 동물, 물건 등]
배경 이미지
컴퓨터 일러스트레이션�
사진에 가까운 실사화
약간의 변형(뿔이 달린 고양이, 우주복 입은 토끼 등)
잘 못 그리는 조건
역동적인 동작
시멘틱(의미나 이야기를 내포하고 있는 그림]
여러 사람과 사물이 섞인 복수 대상
본격적으로 영상 만들어보기
영상 생성에 사용한 Ai 기술은 Kaiber, Runway입니다.
Kaiber
Kaiber는 2가지 방식으로 영상을 만들 수 있습니다.
1. 프롬프트와 시작 이미지를 이용해서 만들기
영상 길이, 화면 비율, 스타일, 카메라 이동 등을 설정하면 조금씩 변화하는 영상을 만들 수 있습니다. 음악을 추가하면 음악에 맞춰서 영상이 변합니다.
프롬프트 작성 화면2. 기존 영상 변조하기
영상 길이, 화면 비율 등을 설정하면 영상이 프롬프트에 맞게 변환되어 나옵니다.
Runway
GEN-2 Runway는 텍스트 프롬프트만으로 영상을 생성해 줍니다.
원하는 이미지 레퍼런스를 추가할 수도 있습니다.
3D 모델에 프롬프트와 레퍼런스 이미지를 이용해 텍스처가 입혀진 영상을 만들 수도 있습니다.
Ai로 애니메이션 만들기. 재밌게 보셨나요?
앞으로 많은 가능성이 있다는 것을 보여준 흥미로운 프로젝트였습니다.
얼마 전 <스파이더맨 어크로스 더 유니버스>를 보고 눈이 너무 즐거웠는데요,
이 말도 안 되는 퀄리티의 애니메이션을 Ai가 학습하고
누구나 새로운 소재로 저런 퀄리티의 영상을 만들 수 있다면.. 세상은 어떻게 변화할까요?
스파이더맨 어크로스 더 유니버스크리에이티브 디자인 워크숍 <Ai 미식회> 신청하기
