3편 음악을 만드는 인공지능
쿨리타, 플로우머신
2차 산업 시대인 1877년 미국의 발명가 토머스 에디슨은 포노그래프(Phonograph)라는 축음기를 발명했습니다. 양철 포일로 된 재질이었습니다. 그래서인지 날카로운 바늘로 인해 한 번의 재생으로도 녹음된 내용이 거의 사라졌습니다. 11년 뒤인 1888년 에디슨은 완성형 축음기를 만들었습니다. 이를 통해 최초의 음반이 제작됐습니다.
이로써 사람들은 직접 공연을 보러 가지 않아도 집에서 음악을 듣게 되었습니다. LP, 테이프, CD를 거쳐 현재 디지털 파일로 우리는 음악을 편하게 감상하고 있습니다. 컴퓨터의 발달은 음악을 듣는 매체뿐만 아니라 제작 과정에도 영향을 주었습니다. EDM 장르는 전적으로 컴퓨터로 만듭니다.
“컴퓨터가 작곡을 할 수 있을까?” 1955년 미국 일리노이대학에서 레자렌 힐러와 레너드 아이잭슨은 이 질문으로부터 일리악이라는 작곡 하는 컴퓨터를 만들었습니다. 1956년까지 두 사람은 16세기 작곡가들의 곡을 분석해 ‘현악 4중주를 위한 일리악 조곡’을 완성했습니다.
음악을 만드는 인공지능 개발의 첫 시도입니다. 4차 산업 시대를 맞아 인공지능이 본격적으로 예술에 뛰어들고 있습니다. 청각 예술의 대표 분야인 음악은 다른 분야보다 앞서 연구를 시작했습니다.
1960년대에는 허버트 사이먼과 마빈 민스키가 기존 음악의 작곡 패턴을 그대로 사용해 음악을 만들었습니다. 1970년대에는 J. A. 무어라와 G. M. 레이더가 조성을 바탕으로 인공지능 기술을 접목한 작곡 프로그램을 개발했습니다.
1990년대에는 바루차가 음악 스타일에 따라 선율, 박자, 리듬을 선택해 작곡할 수 있는 인공지능 뮤작트를 공개했습니다.
예일대의 도나 퀵의 쿨리타의 작업 과정에 대한 설명 (출처 : 도나 퀵 홈페이지)
쿨리타(Kulitta)는 2015년 미국 예일대 컴퓨터공학과의 강사 도냐 퀵이 개발했습니다. 쿨리타는 저장된 자료에서 규칙들을 분석하고 음계를 조합해 작곡합니다. 일종의 자기학습 방식입니다.
쿨리타는 사람의 실력과 구분하기 어려울 만큼 정교한 음악을 만들어냅니다. 마치 도서관처럼 체계적으로 저장된 음악 소스를 규칙적으로 조합해 음악을 만듭니다. 저장되어있는 수많은 악보를 이용해 기본 음계의 조합을 분석합니다. 처음에는 학습을 위해 약간의 도움이 필요하지만 분석이 끝나면 고난도의 음계도 작곡할 수 있습니다. 실제로 쿨리타가 바흐의 음악적 요소를 조합해 만든 곡을 100명에게 들려줬더니 대부분 실제 바흐의 곡과 구별하지 못했습니다.
클래식뿐만 아니라 다양한 장르의 음악을 만듭니다. 쿨리타는 모차르트와 헤비메탈 밴드 메탈리카의 음악을 섞어 만들기도 합니다.
소니컴퓨터사이언스연구소는 2016년 인공지능 작곡가 플로우머신(Flow Machine)이 만든 팝송 ‘Daddy’s Car’, ‘Mr. Shadow’ 두 곡을 유튜브에 공개했습니다. 작곡은 플로우머신이 하고, 편곡과 작사는 프랑스 작곡가 브누아 카레가 맡았습니다. ‘Daddy’s Car’는 영국의 전설적 록밴드 비틀즈 스타일의 곡입니다. ‘Mr. Shadow’는 어빙 벌린과 듀크 엘링턴, 조지 거쉰의 재즈 스타일이 묻어난다는 평가를 받았습니다.
플로우머신은 전 세계 다양한 장르의 곡에 대한 악보 1만 3천 장을 분석해 방대한 음악 데이터베이스에서 음악 스타일을 배웠습니다. 이를 통해 기존의 음악 스타일과 기술 등을 고유 조합, 작곡이 가능합니다.
소니컴퓨터사이언스연구소의 플로우머신에 대한 설명 (출처 : 소니컴퓨터사이언스연구소 홈페이지)
쿨리타, 플로우머신 뿐만 아니라 구글의 마젠타(Magenta), 스페인 말라가대의 아야무스(Iamus) 같은 인공지능 작곡가들은 하루에 수백 곡을 작곡할 수 있습니다. 인공지능이 기존 음악을 학습하고 이를 토대로 음악을 만드는 실력은 이미 인간을 넘어섰습니다.
다만 인공지능이 다양한 장르의 음악을 만든다 해도, 사람의 노력이 더해져야 음악이 완성됩니다. 특히 노래는 전적으로 사람 목소리에 의존하고 있습니다. 인공지능이 사람 목소리를 흉내 내는 게 아니라 사람 고유의 목소리를 갖출 날이 올까요?
그렇습니다. 1998년 ‘세상엔 없는 사랑’으로 데뷔한 사이버 가수 아담을 가볍게 넘어서는 인공지능 가수가 앞으로 대거 등장할 것 같습니다. 아담은 국내 최초의 사이버 가수였습니다. 아담은 1집 음반이 20만 장 넘게 팔리고 하루 200통 넘는 팬레터를 받는 등 뜨거운 반응을 얻었습니다. 4차 산업으로 들어선 지금 스스로 작곡을 하는 로봇이 등장하기까지 하는 상황입니다. 다음은 어떤 새로운 가수가 탄생될지 기대가 됩니다. 음악 분야만큼은 사람과 기계의 경쟁보단 인공지능을 활용하는 음악가들이 늘 걸로 보입니다.
과거 음악에 대한 전문성을 갖춘 이들만 음악을 했다면 일반인에게도 음악을 할 수 있는 길이 열린 거로 볼 수도 있습니다. 인공지능 음악가가 열어놓은 포문으로 새로운 음악의 탄생이 기다려집니다.
이상미 이상아트 대표◇이상미 대표는 프랑스 정부 산하 문화 통신부로부터 ‘프랑스 문화 자산 및 문화 서비스 전문가’ 자격증을 외국인 최초로 수석으로 2010년에 취득했다. 파리 현대 미술 갤러리 및 드루오 경매회사에서 실무를 경험했다. 서래마을에 있는 이상아트 스페이스에서 회화, 설치, 조각을 포함한 다양한 분야의 전시와 문화예술 서비스를 제공하면서 경계를 확장해 나가고 있다.
※ 본 칼럼은 이데일리에 <이상미가 전하는 '4차 산업과 예술'>으로 연재되었습니다.
※ 이상미 이상아트 대표는 지난 5월 15일 국민대에서 ‘4차산업혁명과 공학과 예술’을 주제로 특별 초청 강연을 진행했습니다. 이상아트는 4차산업혁명이 예술에 가져올 변화를 모색하고 미래를 대비하기 위해 노력하고 있습니다.
