딥페이크 음악을 설명하는 글쓰기
주제는 흥미롭지만 스스로 한계를 느낀 작업
by
Dec 30. 2020
사진=오픈 AI최근에는 '딥페이크 음악'을 주제로 기술 콘텐츠를 썼다. 딥페이크 음악은 인공지능(AI)이 특정 뮤지션 곡을 학습한 다음, 그와 비슷한 스타일로 만든 음악을 일컫는다. 명확한 개념이 규정돼 있지 않은데 일부 외신에서 그런 의미로 이 표현을 쓴다. 이 주제를 선정한 이유는 한 가디언 기사 때문이었다. 그 기사에서는 딥페이크 음악을 다뤘는데 오픈 AI의 음악 생성 모델 '주크박스' 이야기도 나왔다. 주크박스는 원시 오디오로 딥페이크 음악을 만들 수 있다. 해당 뮤지션과 비슷한 목소리로 노래하는 건 물론이다.
주크박스에서는 특정 뮤지션과 장르를 조건으로 삼아 곡을 만들 수 있다. 연구진은 웹에서 120만곡을 스크랩하고, 이를 가사, 메타데이터 등과 연결 지었다고 한다. AI는 이들 데이터를 학습했고. 주크박스는 지난 4월 발표됐는데 GPT-3만큼 많이 이야기되지 않은 듯했다. 기사가 일부 있는데 많지 않다. 난 GPT-3보다 이게 더 혁신적이고 대단해 보이는데. AI가 자기 복제하듯 특정 뮤지션 스타일로 음악을 스스로 만드는 게 인상 깊었다. 클래식에서 이런 사례가 있긴 하지만 주크박스가 좀 더 의미 있는 이유는 나중에 이야기하기로 하고.
GPT-3는 올해 인공지능 영역에서 정말 화제가 많이 됐다. 요즘은 알파폴드나 뮤제로가 더 반응을 얻는 듯하다. 두 사례는 연말 가까이 돼서 이야기가 나왔고 올해를 길게 보면 GPT-3가 더 널리 회자된 듯하다. GPT-3로 만든 텍스트 콘텐츠나 문답 사실관계에 문제가 있지만 획기적이긴 하다. 난 GPT-3를 돌려 나온 AI 답변에서 뻔뻔함과 너스레를 느껴서 더 놀랐다. '불쾌한 골짜기'를 실감했달까. 내가 돌린 건 아니고 매체에서 모의로 해본 걸 읽은 거지만.
제이지. 사진=롤링스톤즈올해는 중요한 딥페이크 음악 이슈가 여럿 있었다. 주크박스가 공개된 것도 큰 소식이다만. 저작권 논란도 있었다. 주크박스가 저격당한 건 아니고 래퍼 제이지가 관련돼 있다. 제이지 소속사에서 한 유튜브 채널에 올라온 그의 딥페이크 오디오에 문제를 제기했다. 그의 목소리로 햄릿을 읽고 빌리 조엘 노래 가사를 랩하는 건데 이게 "제이지를 모방하기 위해 AI를 불법으로 사용했다"라고. 유튜브에서는 해당 콘텐츠를 내렸다가 이틀 뒤에 복구시켰다. 주크박스로 프랭크 시나트라 딥페이크 음악을 만들어 공개한 다른 채널도 비슷한 일을 겪었다.
그동안 딥페이크라고 하면 포르노, 가짜 뉴스 등 비디오 콘텐츠를 주로 이야기했다. 올해는 트렌드가 오디오 쪽으로 좀 더 갔다는 평가가 있다. 주크박스 출시, 제이지 논란이 모두 올해 있었던 일이다. 제이지 논란은 기사도 꽤 나왔고. 주크박스 코드는 기트허브에 공개돼 있다. 이를 다룰 줄 아는 사람이라면 누구나 주크박스로 딥페이크 음악을 만들 수 있다. 앞으로 딥페이크 음악을 만드는 사례가 늘면 저작권 이슈도 많아지지 않을까. 현안을 좀 더 조사해보니 딥페이크 음악은 올해 이슈라고 할 만했다. 콘텐츠로 쓸 가치가 있다고 판단했다.
12월에는 크리스마스가 있고 연말이다 보니 이 시기에 따로 듣는 음악이 많다. 크리스마스 캐럴, 성가 등. 딥페이크 음악은 12월 콘텐츠로 다루기에 괜찮아 보였다. 연말이니까 한해 놓치고 갈 뻔했던 의미 있는 이슈를 글로 쓰는 것도 좋고. 그동안 내가 쓴 글 주제에 특정한 경향이 있고 여기서 한번 벗어나고 싶었다. 올해 난 코로나 19 대유행과 AI 관련성을 중심으로 주제를 선정했다. '전염병 영향을 받는 분야를 AI로 어떻게 혁신할지'가 큰 주제였다. 시기가 시기인만큼 올해는 최대한 이런 주제로 글을 써봐야겠다고 생각했다.
엠넷 AI 음악 프로젝트 '다시 한번' 거북이 공연에 등장한 AI 터틀맨. 사진=유튜브연말에는 다르게 접근하고 싶었다. 코로나 19 대유행은 여전히 진행 중이다. 이와 관련된 주제는 올해 많이 다뤘으니 12월에도 꼭 이 주제로 글을 쓰지 않아도 괜찮지 않을까. 연말이니까 다른 방향으로 걸어도 나쁘지 않을 듯하고. AI와 창작 이야기는 흥미로운 주제라서 눈에 띄었다. 그 전에도 AI 창작 콘텐츠를 쓰고 싶었다. 그러나 너무 광범위해서 저어했다. AI 작곡은 진부한 주제이기도 하다. 작곡하는 AI는 이미 많으니까. 몇 년 전부터 관련 콘텐츠도 나오고 있다. 그러나 딥 페이크 음악은 결이 달라서 차별화됐다 싶었다. 아직 이것만 자세히 다룬 콘텐츠도 별로 없었다. 아예 없는 건 아니고. 그러면 얼른 해야지.
시간이 지나고 나서 보니 이 주제를 잘 선정했다 싶었다. 이달 엠넷 AI 음악 프로젝트에서 가수 거북이 멤버 터틀맨과 김현식을 AI로 복원해서 공연을 선뵀다. 모두 세상을 떠나셨다. 엠넷에서는 음성합성 기술로 그들 음성을 만들어 사후에 나온 곡을 부르게 했다. 거북이는 드라마 '이태원 클라쓰' OST 시작을 편곡해서 불렀고, 김현식은 박진영의 '너의 뒤에서'를 불렀다. 방송이 나가고 기사가 많이 나왔다. SBS에서는 신년 특집으로 김광석을 소재로 비슷한 프로그램을 준비하고 있다. 글이 이 시점에 나가면 시의성 있겠다 싶었다.
글을 풀어가는 방식은 기존 글과 비슷하면서 달랐다. 개요는 챗봇, AI 컨택센터, 음성인식과 음성합성, HR봇, 공간 빅데이터 분석 플랫폼, 이미지 인식 기술, 말뭉치, AIaaS, 에지 컴퓨팅 콘텐츠과 비슷했다. 개념을 짚고 이를 만드는 도구의 작동방식과 의미를 설명했다. 딥페이크 음악이라는 단어를 쓴 지 얼마 안 됐고 의미 있는 모델이 주크박스라서 이를 중심으로 설명했다. 딥페이크 음악 역사도 짚었다. 딥페이크 음악 사례를 몇 가지 살펴보고 평가와 한계도 다뤘다. 이와 관련해 앞으로 예상되는 논란이나 생각해볼 과제도 아울렀다.
사진=픽사베이참고자료는 오픈 AI의 주크박스 홈페이지, 논문, 책, 관련 기사, 칼럼, 시사상식사전, 한국저작권위원회 상담사례집, 인공지능 개발자 커뮤니티, 유튜브 채널, 사운드 클라우드 채널 등을 활용했다. 주크박스를 주로 다루다 보니 오픈 AI 자료를 많이 참조했다. 책은 마커스 드 사토이의 '창조력 코드'를 봤다. 시의적절하게 이 책을 발견해서 다행이었다. 저자는 옥스퍼드대 수학과 교수이자 영국 왕립학회 회원이라고. 이 책에서는 AI와 창작 이야기를 다뤘다. AI로 특정 작곡가 스타일을 배워서 이를 모방하는 음악을 만든 역사도 이 책이 알려줬다.
기사는 국내외 매체 골고루 참조했다. 국내 기사는 최근 엠넷 AI 음악 프로젝트와 AI 창작 이슈, 저작권법, 우리 정부의 AI 창작물 지식재산권 논의, 알고리즘 음악을 개척한 데이비드 코프 이야기 등을 파악하는 데 활용했다. 연합뉴스, 경향신문, IT 조선 등. 외신은 주크박스 평가, 딥페이크 오디오, 딥페이크 음악 사례나 관련 이슈 등을 조사하는 데 참조했다. 가디언이나 버지, 비즈니스 인사이더, NPR, 퓨처리즘 등도 봤고. 피치포크, 디지털 뮤직 뉴스 같은 음악 매체도 많이 참조했다. 킥스타터 CTO였던 앤디 바이오 칼럼은 저작권 이슈를 판단하는 데 도움됐다.
글 작성 과정에서 고민한 내용은 이렇다. 첫째, 개념 정의 어려움. 딥페이크 음악이라는 단어를 쓴 게 얼마 되지 않는다. 명확한 개념이 따로 있지 않다. 공식적인 합의가 된 것도 아니고. 일부 외신에서 쓰는 표현이다. 딥페이크 개념은 비디오 중심이다. AI로 특정인 음성이나 음악을 학습하고 스타일을 모방해서 비슷한 청각 콘텐츠를 만들었다고 딥페이크를 수식어로 붙인다. 그렇다 보니 글에서 개념을 정의하기가 쉽지 않았다. 정식 개념이 없어도 자의적으로 쓰지 않으면서 누구나 합의할 수 있는 개념으로 풀어써야 한다는 부담을 느꼈다.
사진=픽사베이둘째, 참고자료가 다양하지 않았다. 글에서 참고하고 인용한 문헌은 30개가 넘는다. 그러나 주크박스 홈페이지와 논문, 창조력 코드라는 책을 제외하면 논문, 단행본 참고자료는 적었다. 기사나 칼럼이 많았고. 청각 콘텐츠를 다뤘기 때문에 유튜브, 사운드 클라우드도 많이 참고했다. 위 홈페이지나 논문, 책에서 관련 내용을 자세히 담았고 나도 이를 많이 활용했다. 그러나 깊이 있는 자료를 많이 보지 못했다는 생각이 들어 아쉬웠다. 기사는 어디까지나 이슈와 트렌드를 파악하는 용도로 보기 때문이다.
셋째, 작동방식이나 의미, 결과물을 논할 때 주크박스 사례를 중심으로 설명했다. 제이지 딥페이크 오디오나 타코트론2, 데이비드 코프, EMI, 에밀리 하웰도 언급했지만 비중은 작았다. 다양한 사례를 글에서 쓰면 좋았겠지만 아직 그럴 단계는 아니라고 판단하기도 했다. 그래도 EMI나 에밀리 하웰은 좀 더 비중을 늘려도 괜찮지 않았을까. 그러면 글에서 다룬 사례에 균형을 맞출 수 있었을 텐데. 기사라면 주크박스만 다뤄도 나쁘지 않은데 특정 기업에 납품하는 글이라서 남의 회사 이야기를 너무 많이 쓴 게 나도 어색했다. 그런 건 처음이라.
주크박스를 주로 다루기로 판단한 이유는 있다. 오픈 AI는 언어 모델은 물론 음악 생성 모델에서도 앞서가고 있다. 구글 마젠타 프로젝트도 있고, 주크덱도 있지만 주크박스 같은 모델은 드물다고 판단했다. 기호 음악이 아닌 음성이 들어간 원시 오디오를 주 재료로 학습해서 비슷한 음악을 만드니까. 이건 클래식 음악도 만들 수 있지만 우리가 주로 듣는 대중음악을 이렇게 만들어낸다는 게 의미 있었다. 아, 이런 이야기를 썼어야 하는 건데. 그러면 좀 더 이해하기 쉬웠을 텐데.
사진=픽사베이엔비디아 GPU와 딥러닝, 마르코프 체인을 써서 특정 뮤지션과 비슷한 스타일로 음악을 만드는 사례도 있다. 딥페이크 에미넴, 딥페이크 아이언 메이든, 딥페이크 퀸 등. 그러나 작곡을 그렇게 할 뿐, 실제 노래를 부르고 연주하는 건 사람이 따로 했다. 이를 같은 선상에서 언급하기에는 결이 다르다고 생각했다. 일부는 글에 같이 담았는데 연결이 어색해서 지웠다. 지금 생각해보면 좀 더 자연스럽게 연결하고 언급하는 방법이 있었을 텐데 내 게으름과 짧은 판단으로 그러지 못했다. 한편으로는 그것까지 다루면 집중이 잘 안됐을 것 같다.
내용은 서두-본론 1(개념 정의, 작동방식, 의미, 역사)-본론 2(딥페이크 음악 사례, 평가, 개선방안과 미래 방향)-본론 3(예상 논란과 생각해볼 과제)-마무리로 구성했다. 서두는 엠넷 AI 음악 프로젝트로 시작했다. 그러면서 '목소리를 모방할 뿐만 아니라 아예 음악 스타일을 비슷하게 만드는 모델 주크박스가 올해 나왔다'라고 설명했다. 앞으로 김현식, 김광석 딥페이크 음악도 만들 수 있을지도 모른다고. '2019년이 딥페이크 비디오 해였다면 2020년은 딥페이크 오디오 '해라고 썼다.
주크박스 공개도 큰 이슈지만 래퍼 제이지의 딥페이크 오디오 저작권 논란이 있었다고 이어 설명했다. 우리도 여기서 자유롭지 않으며, 국내에서도 엠넷 AI 음악 프로젝트를 계기로 관련 우려가 나오고 있다고. 최근 정부에서 AI 창작물 저작권 논의를 시작했다는 점도 중요성과 시의성을 환기하는 차원에서 언급했다. 국내 저작권법은 사람이 만든 것만 저작권을 인정해준다. AI 창작물, 딥페이크 음악 같은 건 사각지대에 있다고 볼 수 있다. 이는 분쟁 가능성도 있고. '이 이슈가 요즘 화제이니 오늘 알아보자' 이렇게 서두를 썼다.
'Bach By Design: Computer Composed Music - Experiments In Musical Intelligence'. 사진=Discogs본론 1은 딥페이크 개념 정의부터 단계적으로 시작했다. 딥페이크 비디오, 딥페이크 오디오, 딥페이크 음악을 구분해서 개념과 차이를 설명했다. 이를 만드는 방식은 주크박스를 중심으로 설명했다. 연구 내용 대부분을 번역해서 초고에 썼다. 주크박스 작동방식과 연구 역사 등도. 퇴고하면서 많이 지웠다. 내용이 어렵기도 하고 의미로 잘 다가오지 않아서 불필요하다고 판단했다. 핵심만 남긴다고 생각하며 내용을 줄였다. 그래도 어려웠다. 이들이 모은 데이터 세트와 그 출처는 언급했다.
'자동 음악 생성 모델 역사는 반세기를 넘었는데 주크박스가 남다른 이유와 의의'도 설명했다. 오픈 AI에서 직접 밝힌 개발 동기를 활용했다. 그전에는 자동 피아노처럼 기호 음악을 많이 이용했다. AI로 만든 클래식 음악 사례가 많은 이유도 그 영향이 있을 듯(뇌피셜). 여기에는 사람 음성이 없어서 미묘한 음색, 역동성, 표현력은 느끼기 힘들다(오픈 AI 측 설명). 이건 음악에 필수 요소고. 주크박스는 음성을 담은 원시 오디오를 써서 이를 보완할 수 있다고. 원시 오디오를 직접 활용한 사례도 있지만 시퀀스가 너무 길어 입력 부담도 있다고 썼다.
그다음, 딥페이크 음악 콘셉트는 30여 년 전에도 있었다며 데이비드 코프 이야기를 담았다. 기술 이야기는 딱딱한 듯해서 재미로 넣기도 했다. 그가 영국 수학자이자 세계 최초 프로그래머인 에이다 러브레이스 말에서 아이디어를 착안했다는 이야기를 창조력 코드에서 읽었는데 그 내용을 썼다. 코프가 컴퓨터 작곡 프로그램 EMI를 개발해서 바흐 스타일로 음악을 만들어 음반을 낸 사례와 진짜 바흐 음악을 가려내는 경연에 나가서 호평받은 이야기도 담았다. 그다음, AI 에밀리 하웰 사례도 쓰고.
주크박스로 만든 음원 샘플. 사진=오픈 AI본론 2에서는 주크박스로 만든 딥페이크 음악을 좀 더 살펴봤다. 음원 7000여 개가 공개됐는데 품질은 좋지만 않다고. 음질도 별로라고 썼다. 그래도 흥미로운 곡이 눈에 띄어서 이를 언급했다. 노래가 크게 네 가지로 나뉘는데 오픈 AI 연구진과 언어 모델이 가사를 아예 새로 쓴 게 있다. 프랭크 시나트라 목소리로 부르는 크리스마스 팝이 그 예다. 기존 노래 가사를 그대로 쓰되 곡만 새로 작곡한 것도 있다. 셀린 디온 At Seventeen이 그 예인데 난 주크박스 편곡이 더 마음에 들었다.
기존 곡에서 12초 분량을 그대로 쓰고 나머지 부분은 주크박스가 지정된 스타일로 완성한 곡도 있다. 이글스의 호텔 캘리포니아가 그 예. 기타 재미있는 곡으로 듀엣곡이나 동요 등이 있다. 고인이 된 옛날 뮤지션들이 영화 '라라랜드'를 듀엣으로 부른 것도 있고. AI 터틀맨, AI 김현식이 여기서 와 닿는달까. 이와 별개로 난 '딥러닝'이라는 곡이 재밌어서 이것도 언급했다. 합성곱 신경망(CNN) '알렉스 넷'을 공동 개발한 일리야 수츠케버가 가사를 썼다. 딥러닝 원리를 정확히 다뤄서 학습용으로 써도 좋을 듯. 너무 개발자스러운 곡이었다.
본론 2에서 외신과 오픈 AI 자체 평가를 인용해서 곡 평가를 썼다. 자체 평가에서는 기술이 한 단계 도약했지만 소음이 있거나, 반복 후렴구를 못 만들고, 샘플에 시간이 많이 걸린다는 내용을 담았다. 곡 절반이 영어로 돼 있는데 앞으로 다양한 언어, 지역 음악을 포괄하려고 한다고. 편견, 저작권 등 이슈도 연구하고 있다고. 내 언어로 푸는 과정에서 내용이 왜곡될까 싶어서 평가나 미래 방향 내용은 원문을 그대로 인용했다. 물론 내용은 번역해서 담았다.
사진=픽사베이본론 3에서는 딥페이크 음악 미래를 긍정적, 부정적 측면에서 바라봤다. 고인이 된 뮤지션의 새 음악을 발표할 수도 있고. 리페이스 앱처럼 이를 쉽게 만드는 소프트웨어가 나올 수도 있다고. 음원 스트리밍 서비스나 콘텐츠 크리에이터도 활용할 수 있다고. 부정적 측면은 저작권이나 수익화 논란 등. 예상 논란과 생각해볼 과제를 이어서 풀었다. 제이지의 딥페이크 오디오 해프닝을 자세히 썼다. 예상 논란과 생각해볼 과제로 저작권 귀속 대상, 창작 의도와 사용목적, 사람 패러디와 형평성 문제를 언급했다. 앞 내용을 요약하며 글을 마무리했다.
글 쓰는 순서는 이랬다. 자료 조사-번역-초고 작성-1차 퇴고-2차 퇴고-이미지 편집-3차 퇴고-마지막 퇴고. 내용 난이도는 교육 AI보다 높았다. 작성 과정에서 느낀 어려움은 헬스케어 AI, 성범죄 AI, 에지 컴퓨팅보다 더 많았다. 난이도 탓도 있지만 글 쓰는 마음가짐과 집중력, 태도에서 어려움이 있었다. 주제가 재밌을 거라고 생각하고 덤볐는데 예상보다 어려워 당황했다. 글을 회피하고 싶어 했고, 글쓰기에 잘 몰입하지 않았다. 난 이번 작업 과정이 많이 부끄럽다. 매일 찔끔찔끔하고 집중해서 성실히 하지 못했기 때문이다.
시간이 모자라지 않았는데 너무 여유를 부렸다. 다른 주제도 어려웠지만 책임감을 갖고 엉덩이 무겁게 앉아서 꾸준히 밀고 나갔는데. 이번에는 그러지 못했다. 작성 과정이 부끄럽고 불만족스러워서 마감하고도 기분이 마냥 좋지만 않았다. 내 한계도 발견했다. 내용을 이해하는 데 시간이 꽤 걸렸으니까. 내가 할 수 있는 최선의 결과물이라고 봤지만. 그게 '독자가 읽기에도 좋은 콘텐츠일까' 의문이 들었다. '이 글을 누가 볼까' 이런 생각도 들고. 모든 글이 완벽할 수 없지만 스스로 완성도에 자부심을 갖는 콘텐츠는 있다. 이 글은 그렇지 않다.
사진=픽사베이연말이고 지난주에 크리스마스도 있다 보니 마음이 붕 떴다. 11월에는 작업이 몰려서 매일이 긴장의 연속이었다. 큰 일을 처리하고 나니 12월 초에 홀가분했다. 입맛도 돌고 움츠려 든 마음이 펴졌다. 그 느낌이 너무 오랜만이라서 오래 누리고 싶었다. 글을 외면하고 쉬고 싶다는 생각도 들었다. 두 달 전 힘든 일이 있고 나서 심적으로 많은 변화가 있었다. 12월에는 즐겁게 지내면서 힘들었던 마음을 보상받고 싶었다. 결국 12월 말까지 막판에 수면시간을 줄여가며 마감했지만. 미리 이렇게 했더라면 글 완성도가 더 높아지지 않았을까 싶다.
아쉬운 점이 많다. 글을 더 쉽고 간결하게 쓰지 못했다. 시간과 노력을 충분히 들여서 몰입하지 못했고, 내 이해력에 한계도 있었다. 주크박스로 음악을 만드는 방식이 그랬다. 내가 충분히 소화해서 써야 하는데 그 수준이 어느 정도가 적당한지 고민스러웠다. 내가 내용을 정확히 제대로 이해했는지도. 초고 작업에 시간이 많이 걸렸는데 연구내용을 다 번역하고 그걸 옮겨서 쓰다 보니 그렇기도 했다. 처음부터 선을 명확히 긋고 하면 더 효율적이었을지도. 한편으로는 그렇게 해서 취할 내용과 버릴 내용을 잘 구분할 수 있었다 싶기도.
주제가 흥미로워서 잘 쓰고 싶다는 욕심이 큰 것도 문제였다. 그러려면 열심히 몰입해서 했어야 하는데 그러지 않았기 때문이다. 요술방망이를 휘두르면 글이 나오는 것처럼 머릿속 이상은 큰데 현실은 지지부진했다. 글 고민도 깊지 않았다. 매일 조금씩 꾸준히 해나가고 바로잡으며 완성도를 높여야 하는데. 뭐라도 시도해봐야 하는데 그게 힘들지라도. 글 쓰면서 직면하는 힘든 마음을 피하고 싶었다. 그게 처음이 아닌데도 말이다. 사소한 개선의 누적을 외면하다 벼락치기했다.
BBC 라디오 3 편성표. 사진=BBC