예술계를 뛰어든 인공지능
전명훈 버지니아공대 산업공학과 교수
전명훈 버지니아공대 산업공학과 교수인공지능의 발달은 인간의 창의적 예술 활동에 어떤 영향을 줄 수 있을까?
예술, 기술, 창작 그리고 인공지능
지난 글에서는 물리적인 몸을 가진 로봇이 어떻게 인간의 전통적인 예술 활동을 배워서 인간이 만들어내는 것과 유사한, 그래서 사람들이 예술 작품으로 받아들일 만한 결과물을 만들어 내는가에 대해 이야기했다. 이번 글에서는 더 나아가 어떻게 인공지능이 인간의 예술적인 활동 혹은 좀 더 일반적으로, 창의적인 활동에 기여할 수 있는가에 대해 생각해보려고 한다. 최근 인공지능 연구와 구현의 많은 부분들이 기계 학습을 통해 이루어지고 있는바, 두 용어를 구분 없이 사용하였다.
예술과 기술의 관계를 되짚어 보면, 그 어원부터 공통점을 가지고 있다. '예술(art) 어원인 라틴어 ars 혹은 artem은 '기술(technology)'의 어원인 그리스어 Techne와 유사하게 공예, 기술, 기교 등을 의미한다. '미술(美術)'의 한자를 살펴보면, 역시 아름다움과 기술의 합성어임을 알 수 있다. 대표적인 예로 사진이나 영화 예술은 분명 기술의 발전과 그 궤를 같이 하고 있다.
한편, 기술은 예술의 창작자와 관객이 좀 더 밀접하게 상호작용할 수 있는 토대를 마련해 주었다. 예를 들어, 니콜라 셰페르(Nicolas Schöffer)의 1956년 작 CYSP 1는 광전지와 마이크로폰 등의 센서를 이용하여 조각 작품이 무희의 몸동작 및 환경의 변화에 따라 변화하도록 설계되었다. 뒤이어 에드워드 이나토위츠(Edward Ihnatowicz)가 발표한 작품들, 꽃처럼 생긴 SAM이나 기린처럼 생긴 The Senster 역시 비슷한 센서와 간단한 알고리즘을 통해 외부 자극(예: 관객의 움직임)에 다이나믹하게 반응하도록 설계되었다.
오늘날에는 어떨까? 우리는 내키는 대로 허밍을 하면 그 멜로디를 기본으로 삼아 음악적으로 잘 편곡된 곡을 만들어주는 앱을 우리의 스마트폰에 가질 수 있다(http://hum-on.com). 기술의 발달과 예술에의 적용은 이미 우리가 상상할 수 있는 그 이상을 넘어서고 있다. 그럼 인공지능의 발달이 어떤 방식으로 우리의 창의적인 활동에 영향을 주고 있는지 또 줄 수 있는지 차근차근 살펴보자.
모방과 변형을 넘어 창작까지
1. 수많은 자료를 입력한 후 그 자료의 양식과 비슷한 스타일의 작품을 만들어 낼 수 있다. 최근의 기계 학습은 현존하는 예술 작품들의 자료에서 추출한 양식에 따라 수많은 시각, 청각, 텍스트 내용물을 만들어낼 수 있다. 예를 들면, 바하의 모든 곡들을 자료화해서 학습시키면, 바하가 만들었음직한 음악 작품을 얻어낼 수 있는 것이다. 일례로 렘브란트 프로젝트에서는 컴퓨터 프로그램이 빛의 화가라고 불리는 네덜란드의 렘브란트의 작품들을 학습한 후, 그가 지금 살아있다면 그렸을 법한 렘브란트 스타일의 새로운 작품을 만들어낼 수 있었다(https://www.nextrembrandt.com.)
2. 자료를 이용하여 학습한 후, 새로운 작품을 만들어 낼 수 있다. 2018년에는 한 경매에서 알고리즘으로 생성된 작품 Portrait of Edmond Belamy이 $432,500(우리 돈으로 약 5억 3천만 원)에 팔렸다. 이 작품은 대표적인 최신 기계 학습 알고리즘을 사용하였는데, 개발자들은 이 알고리즘에 14세기부터 20세기까지의 만 오천 점의 초상화 자료를 입력해 주었다. 먼저 알고리즘이 정형화된 양식들을 분석해서 새로운 이미지를 생성해낸다. 그러면 그 알고리즘의 다음 부분은 입력받은 인간 화가의 작품과 비교해 가면서, 알고리즘이 생성해낸 이미지가 실제 초상화라고 판단될 때까지 전체 과정을 반복해 나아간다. 이러한 과정을 통해 미술사에 있었음직한, 하지만 그 어떤 그림과도 같지 않은 새로운 작품이 탄생할 수 있었다.
3. 인공지능은 사람이 만들어낸 작품을 변형하고 확장할 수 있는 새로운 장을 열어 주고 있다. 여러분들은 배우의 얼굴을 오바마 대통령 얼굴로 바꿔 재생한 동영상을 본 일이 있을 것이다. 동일하게 사운드 파일에서도 발화된 단어를 다른 단어로 바꿔치기하는 것이 가능하고, 내가 하지도 않은 말을 내 목소리를 이용하여 재생하는 것도 이미 가능하다. 시각과 청각을 포함해서 이미 만들어낸 미디어 파일을 자연스럽게 대체하거나 섞어내는 일이 가능해졌다. 예를 들어, 구글 엔지니어가 구현한 Deep Dream(https://deepdreamgenerator.com)프로젝트에서는 사람이 만들어낸 미술 작품이나 사진을 신경망 학습 알고리즘을 통해 꿈이나 환각 속에서나 볼 수 있을 듯한 시각 이미지로 바꾸어준다. 여러분이 지금 보고 있는 필자의 프로필 사진은 Deep Dream 웹페이지에서 반 고흐의 Starry Night 스타일을 적용하여 만들어낸 이미지이다.
Deep Dream 프로젝트에서 제작한 작품. (c)deepdream.새로운 창작을 위한 도구
4. 작업의 효율을 위해 새로운 사용자 인터페이스를 가능하게 해 준다. 이러한 기술은 또한 미디어 내용 인식 인터페이스를 가능하게 해준다. 예를 들어, Neutron Elements의 사운드 편집기는 녹음된 음악 트랙에서 각각의 악기들을 인식해내서 어떤 이퀄라이징을 적용해야 할지를 자동으로 선택해 준다. 즉, 믹싱 작업의 속도를 빠르게 해줌으로써 사용자가 더욱 창의적인 작업에 시간을 할애할 수 있도록 돕는 것이다. JukeDeck(https://www.jukedeck.com)은 사용자의 비디오 내용을 분석해서 적절한, 새로운 음악 트랙을 만들 수 있도록 돕고, Magenta Studio(https://magenta.tensorflow.org/studio)는 음악가들이 자신들의 부분적인 멜로디와 드럼 패턴을 완성하는 도구를 제공해 준다.
5. 기계 학습은 미디어 자체를 변형시키는 것 외에도 다른 형태의 자료를 모델링하는 데에 사용될 수 있다. 예를 들어, 무희의 몸동작이나 음악가의 연주 양식에 정확하게 반응하는 디지털 시스템을 만드는 것은 꽤 어려운 작업이다. 기계 학습이 사람의 동작이나 움직임 자료를 학습하고 그에 맞는 반응을 하는 시스템을 만드는 데에 효율적이고 정확한 방식을 제공해 줄 수 있다. 예를 들어, 필자의 연구실에서는 무희들의 움직임 및 감정을 추적해서 음악적인 소리를 만들어내는 프로젝트를 해왔는데, 무희들의 움직임 양식과 음악의 변수들을 연결시키는 데에 이러한 기계 학습을 이용해 왔다.
초보자도 할 수 있게
6. 초보자나 학습자의 표현을 돕거나 훈련을 위해 사용할 수 있다. 인공지능을 통해 전문가 모델을 구현해 내면 예술을 오랫동안 훈련받지 않은 초보자도 예술가와 같은 작품을 만들어 낼 수 있다. 위에 언급한 움직임 추적 프로젝트에서, 인공지능 시스템이 전문적인 무용가들의 움직임을 완전히 분석하고 재구현 해 낼 수 있다면, 어린이나 훈련을 받지 않은 사람들이 무용가들과 비슷하지만 어설픈 춤 동작을 따라 했을 때, 그 움직임을 자동으로 보정해서 새로운, 보기 좋은 움직임을 화면에 구현해내고, 그에 따라 아름다운 음악이 만들어지도록 할 수 있을 것이다. 물론, 이런 유희적인 측면뿐 아니라, 초보자에게 핵심적인 동작을 훈련시키는 용도로 그 시스템을 쓸 수도 있을 것이다.
7. 사람의 물리적인 한계를 뛰어넘는 작품을 만들 수 있다. 기계를 이용한 혹은 알고리즘을 이용한 예술이 예술가나 예술가의 스타일을 모방하는 데에만 그치는 것은 물론 아니다. 기계만의 장점을 살려서 인간 예술가가 구현해낼 수 없는 예술을 손쉽게 구현해 낼 수 있다. 예를 들어, 만약 인간 드러머가 64분의 1 박 (혹은 128분의 1박)으로 드럼을 치는 것이 물리적인 한계라면, 기계 드럼 혹은 알고리즘에 기반한 연주는 당연히 256분의 1, 512분의 1박을 아무 문제없이 오랫동안 지치지 않고 연주 (혹은 구현) 해 낼 수 있을 것이다.
우리는 모두 Homo Ludens!
이와 같이 기계 학습과 인공지능은 인간의 창의적 활동과 더욱더 풍부한 관계를 만들어 나아가고 있다. 물론, 여기에 언급하지 않은 다양한 적용 방법들이 더 있을 것이고, 계속 만들어질 것이다. 이로 인해 인공지능은 인간의 창의적 활동을 더욱 잘 모방함과 동시에 새로운 스타일의 작품, 더 나아가 창의성의 새로운 유형을 개척해 나아가고 있다.
하지만, 지난 글에서도 언급했듯이 인공지능 알고리즘이 독자적으로 작품을 만들어 낸다고 해도, 그것이 예술작품으로 인정받을 수 있는 수준에 도달하기까지는 여전히 광범위한 사람들의 사후 처리 과정 - 구현, 데이터 수집, 프로그램 수정, 결과물 선별 과정 등등 – 이 필요하다. 이 과정에서 알고리즘이 항상 처음부터 정해져 있어야만 하는 것은 아니다. 필요와 목적에 따라서 예술가들과 연구자들은 데이터나 데이터 학습 방식을 바꾸고 알고리즘을 업데이트해 나아갈 수 있다.
결론적으로 기계 학습과 인공지능이 가져다주는 많은 이점들이 유희인(Homo Ludens)으로서의 인간 고유의 특질을 강화해 주는 것 같다. 하지만, 인공지능의 도움을 어느 선까지 인정할 것인가, 누가 작품의 궁극적인 창조자인가와 같은 윤리적인 질문들이 아직 남아 있다. mind
<참고문헌: 방문해보면 재미있을 웹 주소들>
http://hum-on.com/
https://www.nextrembrandt.com/
https://deepdreamgenerator.com/
https://www.jukedeck.com
https://magenta.tensorflow.org/studio/
전명훈 버지니아공대 산업공학과 교수 | 공학심리 Ph.D.
가수의 꿈을 접고 전자회사에서 사운드 디자인을 하다가 영화 음악을 공부했다. 영화 음악가의 꿈을 접고 청각 디스플레이로 박사 학위를 받았다. 현재 버지니아공대 산업공학과와 컴퓨터과학과에서 Mind Music Machine Lab을 운영하고 있다. 사람과 기계(컴퓨터, 자동차, 로봇) 사이의 더 나은 상호작용을 디자인하기 위해 소리와 정서에 대한 연구를 하고 있다.
>> 한국인을 위한 심리학 잡지, <내 삶의 심리학 mind> 온라인 사이트가 2019년 7월 8일 오픈하였습니다. 내 삶의 비밀을 밝혀줄 '심리학의 세계'가 열립니다. 한국을 대표하는 100명의 심리학자와 함께 합니다.
카카오톡에서 '심리학mind' 친구 추가하고, 내 마음의 비밀을 풀어 보세요.
