헐리웃은 왜 AI 작곡가를 반기지 않을까

기술이 발전했다고 해서 항상 시장으로부터 환영받는 것은 아니다

이세돌 9단과 구글의 알파고가 세기의 대결을 펼친지도 벌써 4년이라는 시간이 흘렀습니다. 그동안 인공지능 기술은 고도로 발달된 연산 처리 기술에 힘입어 빠른 속도로 딥러닝 시대에 접어들었는데요. 최근 몇 년간 딥러닝 기술이 예술계에도 활발히 적용되고 있기에 오늘은 인공지능 작곡 기술에 대해 짧게 적어보겠습니다.

그림 그리는 인공지능, 음표 그리는 인공지능

본래 예술이라는 게 인간의 독창적인 창의성을 요구하는 분야 아니겠습니까. 이 때문에 의료, 자율 주행, 금융 등 그동안 인공지능 기술이 다양한 분야에서 활용되기 시작했음에도 불구하고 여전히 예술은 인공지능이 "감히" 넘볼 수 없는 벽 같은 존재로 인식되어왔습니다. 이미 존재하는 정보를 기반으로 복잡한 사고 회로를 통해 최적의 판단을 내리는 기계는 무에서 유를 창조하는 분야인 예술에는 손을 뻗치지 못하리라 생각했죠. 예술은 마치 인간의 사고와 기계의 사고를 분명히 나눌 수 있는 구분선 같은 존재였습니다.

구글이 2015년 선보인 인공지능 미술 프로그램인 "딥드림"은 이러한 인식을 180도 뒤집는 데 성공합니다. "딥드림"은 사용자가 사진을 업로드하고 변형 정도, 해상도, 스타일, 색상을 각자의 입맛대로 맞추어주면 단 몇 초 만에 독창적인 그림 작품으로 바꾸어주는 서비스인데요, 딥드림이 그려낸 29개의 작품은 2016년 약 97000달러에 경매에서 낙찰되는 놀라운 성과를 보여주었습니다. 또한 독일에 위치한 튀빙겐 대학의 연구진들은 에드바르크 뭉크, 빈센트 반 고흐 등 유명한 미술가들의 화풍과 붓터치 등을 분석하여 사용자로부터 제공된 이미지를 바탕으로 그림을 그려주는 알고리즘을 개발하는 데에 성공하기도 했습니다.

사실 이러한 인공지능 미술 기술은 사용자로부터 전달된 이미지를 배경으로 재창작되는 작품들이기에 "무에서 유를 창조했다"라고 말하기는 어려우나, 인간이 창조해낸 수많은 예술 작품들 또한 기존에 존재하던 방식에 기초하여 만들어졌다는 것을 생각해보면 딥드림을 포함한 인공지능 미술 기술은 분명 유의미한 이정표입니다. 이러한 기술은 단순히 사진에 필터를 입히는 것이 아니라 치밀하게 짜여진 알고리즘을 통해 화풍과 붓터치를 재현하는 기술이기에 이후 데이터가 쌓이고 기술이 발달한다면 인공지능의 독창적인 스타일이 만들어지는 것도 불가능한 이야기는 아닙니다.

튀빙겐 대학 연구진의 알고리즘은 유명한 작품의 스타일을 알고리즘 화하여 사진에 그대로 적용해줍니다.

서론이 좀 길었는데, 인공지능 음악 또한 그간 많은 발전을 거듭하면서 현재도 활발하게 연구가 진행되고 있습니다. 작년 아마존의 AWS(아마존 웹 서비스)에서 발표한 AWS DeepComposer이라는 서비스 이야기를 먼저 해보겠습니다. AWS 딥 컴포저 서비스는 AWS를 이용하는 개발자들을 위해 만들어진 서비스인데, 머신 러닝의 개념을 보다 더 효과적으로 익힐 수 있도록 함과 동시에 관련 커뮤니티의 활성화를 통해 보다 더 넓은 토론의 장을 만들겠다는 것이 해당 서비스의 주목적입니다. 사용자가 컴퓨터에 연결할 수 있는 딥 컴포저 전용 키보드를 통해 기본적인 멜로디를 입력한 후, 프로그램에서 제공하는 패러미터를 변환하는 과정만 거치면 화음과 악기 구성을 고루 갖춘 완성된 곡이 탄생하는 것입니다. 발표 현장을 통해 들어본 결과물은 음악이라고 하기에는 좀 낮은 완성도였으나, 기본적으로 개발자 교육을 위한 참고자료로써의 목적은 충실히 달성할 것으로 보였습니다.

단순한 멜로디를 마우스 클릭 한 번으로 화려한 밴드 음악으로 바꾸는 시대가 오고 있습니다.

제가 AWS DeepComposer 이야기를 먼저 한 이유는 해당 발표 이후 제가 근무하던 아마존 스튜디오 음악 팀에서도 몇 달 전 인공지능 음악에 대해 꽤나 깊은 토론이 이루어졌기 때문인데요, 이유는 저희가 작업하던 TV 드라마에 부분적으로나마 인공지능 음악을 삽입하는 게 어떨까라는 마케팅 팀의 제안이 있었기 때문이었습니다. 드라마가 가상현실과 미래 기술에 관한 내용을 담고 있어서 좋은 아이디어라고 생각하여 저희 또한 관련 자료 조사를 진행했는데, 미팅 결과 최종적으로 팀에서 내린 결론은 "진행하지 않겠다"였습니다.

AI가 만든 음악의 질이나 가격은 문제가 아니다

무엇이 문제였을까요? 사실 세간에 공개된 인공지능 작곡 기술의 완성도는 놀라울 정도로 높은 수준을 보여주고 있습니다. 2016년 "Genesis"라는 클래식 앨범을 발매한 것도 모자라 그 실력을 인정받고 세계 최초로 공식 저작권 협회에 작곡가로서 당당히 이름을 올린 AIVA라는 프로그램도 있고 (심지어 AIVA의 기본 플랜은 무료로 일반인들도 쉽게 이용 가능), 인공지능 기반 작곡 프로그램으로 만든 완성도 높은 음원을 Spotify에 등록해 수익을 올릴 수 있는 서비스들도 대중들에게 소개되고 있습니다.

서비스의 가격 또한 대부분의 서비스가 이미 합리적인 선에서 책정되어 영화 스튜디오 같은 대형 클라이언트뿐 아니라 일반 대중들도 어려움 없이 접근할 수 있게 되었습니다. 인공지능 작곡 기술이 처음 소개되었을 때부터 가장 큰 문제로 대두되었던 점은 바로 저작권 관련 이슈인데, 전기차와 같이 새로운 기술이 대중화될 때마다 항상 생기는 문제가 기술이 대중화되는 속도보다 관련 법규가 정착되는 속도가 더 느리다는 점은 잘 알고 계실 겁니다. 인공지능 음악도 관련 법규가 만들어지지 않은 상태에서 빠른 속도로 발전하고 대중화되면서 누가 저작권을 소유하고 이득을 취할 수 있는지에 대한 기준이 모호했습니다. 이 또한 법제화가 진행되면서 개발사로부터 프로그램 사용권을 획득한 사용자에 한해 수익을 취할 수 있는 법규가 만들어지면서 해결이 되었습니다.

음악의 질, 가격, 법 모두 문제없고, "인공지능 음악이 삽입되었다"라는 이유만으로 좋은 마케팅 전략을 구사할 수 있는 상황임에도 저희가 계획을 철회한 이유는 바로 굳이 인공지능 음악을 굳이 사용할 필요가 없었기 때문입니다. TV 드라마, 영화 모두 삽입되는 음악에는 보통 오케스트라 음악인 오리지널 스코어, 가사가 포함된 오리지널 송, 라이센싱 계약을 통해 삽입 허가를 받은 음악이 있는데 사실 할리우드에서 제작된 작품이라 하더라도 드라마, 영화 한 편을 모두 오리지널 스코어/송, 라이센스 음악으로 채우는 것은 대형 블록버스터 작품을 제외하면 현실적으로 불가능에 가깝습니다. 정해진 제작 기간 내에 미국 노동조합에서 정한 세션 연주자들의 노동 시간도 문제이거니와, 작품 내에서 스토리적으로 보았을 때 장면마다 가지는 중요도가 다른데 굳이 덜 중요한 장면에 큰돈을 들일 필요가 없기 때문입니다. 잘못된 예산 분배로 곡 라이선스 계약 과정에서 음반사가 원하는 금액을 맞추지 못하거나 결정적으로 중요한 장면에 임팩트가 떨어지는 음악이 삽입되는 것은 영화감독, 스튜디오 입장에서 꿈도 꾸기 싫은 상황일 겁니다.

라이브러리 음악을 통해 보는 할리우드의 공생 관계

이런 일이 일어나는 것을 막기 위해 존재하는 음악이 바로 라이브러리 음악입니다. 라이브러리 음악은 "라이브러리"라는 단어 말 그대로 도서관에 꽂혀 있는 수많은 책처럼 각 곡의 질이나 독창성보다 템포, 분위기, 심지어 조성으로 카테고리화 되어 있는 음악을 뜻하는데, 계약 조건과 계약금이 작품 종류별로 음식점 메뉴처럼 정해져 있기 때문에 제작사 입장에서 예산 분배를 할 때 더 효율적으로 계획을 수립할 수 있습니다. 마치 김밥천국의 음식들처럼 정말 맛있는 음식들은 아니지만 그렇다고 해서 맛없지는 않은, 제작사들의 지갑을 수호해주는 역할을 하는 게 바로 라이브러리 음악입니다. 계약상 변수도 없고, 모든 권리를 양도받기 때문에 추후 법적으로 걱정할 부분도 없고, 각 라이브러리 회사가 가지고 있는 카탈로그도 상당히 거대하기 때문에 원하는 음악을 골라서 사용할 수 있으니 전혀 부족함을 느끼지 못하는 것입니다.

최근 인공지능 작곡 개발사들이 대형 클라이언트를 잡기 위해 영화 제작사를 비롯해 게임 개발사 등을 상대로 피칭, 마케팅을 하는 경우가 종종 있는데, 이들이 흔히 내거는 슬로건이 "음악을 고르는 시간을 단축하고, 돈을 아끼고, 모든 권리는 사용자가 가진다"입니다. 이러한 대형 클라이언트들에게는 작곡 솔루션 자체를 판매할 수 있기 때문에 개발사 입장에서는 욕심이 날 수밖에 없습니다. 그러나 이는 영화 제작사들을 비롯해 인공지능 음악을 라이브러리 음악으로 대체할 가능성이 있는 모든 회사들에 대한 이해도가 없기 때문에 일어난, 완전히 실패한 마케팅이라고 생각합니다. 애초에 영화뿐 아니라 게임 회사들이 큰돈을 주고 한 작품을 위해 음악감독을 고용하는 이유가 어떤 작품이든지 간에 투자되는 시간과 돈보다 작품의 완성도가 항상 더 우선시되기 때문입니다. 라이브러리 음악이 스코어 같은 다른 음악에 비해 드는 돈만큼 중요도가 떨어지지만, 그렇다고 해서 음악 감독들과 제작사들이 아무 음악이나 사용하는 것은 아닙니다. 시간을 들여서라도 한 곡, 한 곡 들으면서 각 장면에 맞는 음악을 선정하고, 팀의 OK 사인이 떨어져야 비로소 작품의 음악으로서 삽입될 수 있는 것입니다.

인공지능 작곡 솔루션 Amper Score™의 상품 설명 페이지. 라이브러리 음악과 겹치는 부분이 상당히 많습니다.

결정적으로 현재 대형 제작사와 라이브러리 음악 회사 관계 사이에 인공지능 작곡 솔루션이 들어갈 틈이 없습니다. 값싼 음악이라 할지라도 결국 라이브러리 음악도 사람이 직접 작곡하는 음악입니다. 다른 회사들은 어떻게 생각할지는 모르나, 아마존 스튜디오가 결정적으로 인공지능 음악을 사용하지 않기로 한 이유는 라이브러리 음악을 제작하는 작곡가들과의 공생 관계를 해치고 싶지 않았기 때문입니다. 실제로 라이브러리 음악 회사에서 커리어를 시작하는 영화 작곡가들이 많기 때문에 장기적인 시각으로 보았을 때 재능 있는 작곡가들이 기회를 부여받는 환경 자체가 축소될 가능성이 있는 상황에서, 굳이 이러한 리스크를 짊어지면서 잘 활용하고 있는 라이브러리 음악을 버릴 이유가 없습니다.

제가 대형 스튜디오의 시각에서 글을 썼기 때문에 인공지능 작곡 솔루션에 대해 너무 부정적으로 서술한 점은 없지 않아 있습니다. 아직 활발히 연구가 진행되고 있는 분야이고 일반 대중들이 더 쉽게 음악에 다가갈 수 있는 발판을 마련해준 것을 생각하면 인공지능 작곡 기술이 이미 의미 있는 성과를 만들어낸 것은 그 누구도 부정할 수 없는 사실입니다. 그러나 인공지능 작곡 개발사들이 라이브러리 음악 회사들의 파이를 탐내기 시작한 시점부터 대형 스튜디오의 시각에서 냉정하게 해당 기술에 관한 분석은 한 번쯤 해볼 필요가 있다고 생각합니다. 심지어 Audio Library 같은 저작권 걱정 없는 음악을 제공하는 플랫폼들이 대중적으로 큰 인기를 얻고 있는 현시점에서 아직 인공지능 작곡 기술이 대중적으로 활용될 가능성은 그다지 높지 않습니다. 그러나 막연한 미래의 꿈일 것 같던 자율주행 기술이 지금 우리 삶에 빠르게 녹아들고 있듯이 인공지능 작곡 기술 또한 발전을 거듭하다 보면 분명 기존 산업이 가질 수 없었던 경쟁력을 가질 것입니다.

짧게 쓴다는 글이 주저리주저리 떠들다 보니 길어졌습니다. 그러나 짧게 쓴다고 해서 짧게 써야 한다는 것은 우리가 만들어낸 하나의 프레임이 아닐까요? 오늘도 긴 글 읽어주셔서 감사합니다.