영화, 음악, 그리고 AI
대본쓰는 벤자민, 작곡하는 엠퍼뮤직.
#6.
영화와 음악, 그리고 인공지능인공지능이 활용되는 분야별로 대표성을 띈 사례들을 한가지 씩 정리해보고자 한다.
이번 글에서는 스포츠 분야에서 인공지능(AI)이 어떻게 사용되고 있는지 영화와 음악 분야의 사례를 통해 정리해도록 하겠다.
영화의 대본을 쓰는 AI, Benjamin
얼마전 인공지능 관련 영상을 하나 찾아보다가 인공지능이 영화의 대본을 쓰고 감독이 이를 영화화한 흥미로운 사례를 발견하였다. Sun Spring이라는 단편 영화였는데 인공지능이 대본을 작성하고, 작성된 대본으로 영화를 제작한 실험적인 영화였다. 이는 영국의 영화감독인 Oscar Sharp의 아이디어로 인공지능과 사람과의 협업을 통해 어떤 결과물이 나올지에 대한 실험적인 시도이자 결과라고 할 수 있겠다.
감독은 영화의 대본을 쓰는 컴퓨터를 벤자민(benjamin)이라는 이름을 붙여 의인화해서 부르고 있었으며,
테크 아티스트(대본을 쓰는 알고리즘을 설계하는 엔지니어)는 벤자민이 글을 쓸 수 있도록 백개가 넘는 대본을 벤자민에게 입력하고 통계적 패턴을 찾고, 대본 상의 질문과 답변을 학습하며 새로운 대본을 쓸 수 있도록 하였다.
대본작성을 위한 학습방법
벤자민이 학습한 대본들이 때 사용된 인공지능 알고리즘은 Deep Learning Language Model로써 음성인식, 언어 모델링, 번역 등의 다양한 분야에서 활용되고 있는 RNN이 활용되었다. 정확히는 LSTM RNN이 활용되었는데, LSTM이란 Long Short-Term Memory의 약자로 RNN이 단기 기억(Short-term memory)만을 활용하여 예측할 수 있는 반면, LSTM을 활용하면 보다 긴 기간의 정보들을 기억하고 학습을 유지할 수 있다.
보다 쉽게 이야기하면, LSTM RNN은 다음 단어와 문자, 그리고 쉬어야 할 곳을 알 수 있으며 이는 마치 인간이 글을 쓰는 것과 유사한 방식이라고 할 수 있겠다. 벤자민은 한 단어를 추출하면 연결될 수 있는 단어를 예측해서 연결하는 방식으로 대본을 작성하였다. (휴대폰에 있는 자동완성 기능의 알고리즘과 같다고 한다.)
대본과 같이 긴 맥락을 유지하면서 써야하는 글인 경우에 LSTM RNN은 그 당시 (2016년) 선택할 수 있는 괜찮은 알고리즘이었을 것이다.
그런데 영상을 보면 벤자민이 쓴 대본이 모두 괜찮은 대사와 스토리를 보여주지는 않는 것 같다.
실제로 대본이 어색한 지점들은 감독이 다시 재해석 해서 각색, 연출을 하며 영화를 찍었다고 한다.
* 'Sun Spring' 영상이 궁금하다면 아래 링크 혹은 영상참고
oscar sharp는 sunspring 외에도 벤자민을 활용하여 2개의 영화('It's no game', 'zone out')를 더 찍었다고 한다.
'Sun Spring' 영화를 쭉 보고나니 마치 어릴 적 카프카의 소설을 꼭 읽어야만 할 것 같아서 제대로 이해하지도 못하면서 '글씨 읽기'를 했던 때로 돌아간 느낌이랄까.. 영화의 많은 대화의 일부가 'i don't understand', 'what do you mean?'등으로 이어지는 것도 스토리와 맥락을 끊는 대사들로 느껴졌다.
하지만 이러한 새로운 시도에 박수를 보내고 싶고, 또 실험적인 영화를 보며 앞으로의 가능성 또한 생각해볼 수 있는 기회였다. 뿐만 아니라, 1000명 중 1명이라도 이 영화에서 영감을 받았다면 의미있는 작업이지 않았을까..
작곡하는 AI, Amper Music
음악분야에서 컴퓨터를 활용해 작곡을 하는 방법은 오래전 부터 있어왔다. 1965년에 미래학자 레이 커즈와일(Ray Kurzweil)은 클래식 음악작품을 분석하여 작곡 스타일을 뽑아내는 패턴인식 소프트웨어 프로그램을 개발했으며, 1980년대에도 컴퓨터 과학자인 케말 에비오글루(Kemal Ebicioglu)는 바흐 스타일의 음악을 만드는 프로그램관련 논문을 냈다고도 한다. (출처: 카카오브레인 블로그)
2017년, 미국의 팝가수 타린 서던(Taryn Southern)이 인공지능 작곡가와 함께 작곡한 노래인 'Break Free'를 발매하였다. 이 곡은 Amper Music이라는 인공지능 기반 작곡 프로그램을 활용하였는데, 노래의 속도, 음악의 특징, 악기구성 등을 가이드에 맞추어 해당 프로그램에 전달을 하면 Amper Music은 이에 맞는 곡을 빠른 시간안에 완성해준다고 한다. 예를들어 타린 서던이 Amper Music에 노래의 속도와 키, 선호하는 악기 등을 가이드하면 1분도 되지 않아 음악을 작곡해주었다고 한다.
* 'Break Free' 영상이 궁금하다면 아래 링크 혹은 영상참고
Break Free를 작곡한 Amper Music 프로그램은 딥러닝 네트워크를 사용한 알고리즘을 활용하고 있으며, 다량의 데이터 확보와 학습을 위해 댄스, 디스코, 클래식까지 수많은 장르의 곡을 수집한 후, 패턴을 찾는다. 그리고 사용자가 가이드에 맞추어 원하는 곡을 선택하면 화음, 템포, 그리고 음표 등의 연관성에 따라 멜로디를 작곡하게 된다고 한다.
물론 데이터를 통해 학습하는 알고리즘 외에도 기본 음악이론을 중심으로한 하드코딩된 규칙을 함께 적용한다. 하지만 AI가 멜로디를 만든 이후에도 각 구절과 코러스에서 수정/보완할 부분들이 여전히 남아있다고 한다.
Amper Music을 통해 만들어진 음악이 너무나도 창의적이고 들어보지도 못한 것 같은 음악을 만들어 내는 것은 어려울 수도 있다. 하지만 작곡을 효율화하고 또 다른 영역에 사람들은 더욱 집중할 수 있게끔 한다는데 있어 Amper Music은 충분히 인간의 능력을 증강(Augmentation)시켜주는 역할을 하고 있다.
Amper Music 사이트에 들어가보면 아래와 같은 문구가 적혀있다.
Our AI doesn’t compose music for you, it composes with you. You have full control to shape Amper’s output. Swap out instruments, change the timing of key moments, even change the entire composition style. Our AI lets humans take control.
Amper Music의 AI는 사람을 위해 작곡을 하는 것이 아니라, 사람과 함께 작곡을 하는 서비스이다.
AI는 콘텐츠를 만들어내는데 필요한 도구일 뿐이며, 이 도구를 활용하여 얼마나 의미있게 결과물을 만들어 낼 수 있을 것인가는 여전히 사람의 몫인 것이다.
실제로 인공지능 음악 개발에 참여한 사람들 역시 인공지능은 음악 분야에서 창작에 도움을 줄 뿐만 아니라 창의성을 극대화 할 수 있다고 이야기 하고 있다.
Amper Music 외 인공지능 기반 작곡 프로그램
인공지능 음반 레이블 A.I.M
국내 음반제작사 엔터아츠와 AI 음악 창작 시스템을 개발한 영국의 음악 스타트업 주크덱(Jukedeck)이 손잡고 만든 AI 음반 레이블
포자랩스 - 플로우박스
우리나라에서 유일하게 AI 작사·작곡 보조 프로그램을 제공
AI가 만든 배경음악을 유튜브에서 무료로 제공하는 ‘멜리(Mely)’를 운영
Spotify - Creator Technology Research Lab
이렇게 영화, 음악 카테고리 내에서도 대본을 쓰고 작곡을 하는 것과 같은 창의적인 작업을 하는 분야에서도 인공지능은 다양하게 활용되어지고 있다. 뿐만아니라 인간을 대신하는 것이 아닌 인간을 돕는 방향으로 발전해나가고 있는 분야인 듯 하여 앞으로의 결과가 더욱 궁금해진다. :)
Reference
https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr
https://www.yna.co.kr/view/AKR20180227195600005
http://m.kmib.co.kr/view.asp?arcid=0924074743#RedyAi
https://www.kakaobrain.com/blog/28
https://www.theverge.com/2018/8/31/17777008/artificial-intelligence-taryn-southern-amper-music
음성 디자인에 대한 다른 글을 보고 싶다면.
https://brunch.co.kr/magazine/voicedesign
일상에서 활용되고 있는 AI의 다양한 사례들이 궁금하다면.
https://brunch.co.kr/magazine/dailyai
twitter: @pentaxzs
email: pentaxzs@daum.net
brunch: https://brunch.co.kr/@monglec
