인공지능과 예술 세미나 3

Hybridzation : 인공지능과 혼성적 예술

인공지능 실시간 비주얼라이징 : 꿈의 궤도, G-아티언스

창작은 인간의 전유물일까, 아니면 알고리즘도 창작할 수 있을까?

비너스 프로젝트가 인간 예술가의 감정 구조를 협력학습을 통해 해석하고 재구성하는 과정이었 다면 꿈의 궤도와 G-아티언스 프로젝트는 그 실험의 방향을 실시간 생성과 자율 창작으로 확장 한 단계였다. 이 프로젝트는 인공지능이 사전에 학습된 데이터의 단순한 반복을 넘어 음악의 흐 름 속에서 스스로 감정을 해석하고 시각적 반응을 생성할 수 있는가에 대한 탐색이었다. 우리는 인공지능이 인간의 지시 없이 자율적으로 창작 행위를 수행할 가능성을 검증하기 위해, 정적인 이미지 생성에서 벗어나 시간성과 감정의 변화를 실시간으로 시각화하는 방식을 택했다.

그림 4 메시앙의 불의섬 실시간 비주얼라이징

그 실험의 중심에는 클래식 음악이 있었다. 클래식 음악은 인간이 보편적으로 공감할 수 있는 감정의 구조를 담고 있음과 동시에 음악사 속에서 축적된 심리적, 철학적 해석의 맥락을 포함한다. 우리는 이러한 음악적 시간성을 인공지능의 알고리즘 안에 주입함으로 AI가 인간의 감정적 리듬과 정서를 어떻게 이해하고 재구성하는지를 실험했다. 드뷔시의 달빛과 메시앙의 불의 섬을 중심으로 구성된 프로젝트는 이러한 문제의식을 시각화한 대표적인 사례였다.

그림 5 실시간 비주얼라이징 구조

시스템의 구조는 TouchDesigner, Stable Diffusion, Python 기반의 OpenCV로 이루어졌다.

먼저 각 클래식 음악의 정서를 데이터적으로 이해시키기 위해 프롬프트 엔지니어링 과정을 거쳤다. 이 단계에서는 작품의 창작 배경, 작곡가의 의도, 음악적 조성과 화성 진행, 그리고 음악심리 학 논문을 기반으로 특정 코드나 화성이 인간의 정서에 미치는 영향을 분석하여 언어 데이터로 전환하였다. 이렇게 구성된 프롬프트를 Stable Diffusion의 생성 모델에 적용해, 인공지능이 단 순한 시각화가 아닌 감정의 구조(인간이 음악에 대한 감정)를 이해하고 이미지화할 수 있도록 했 다. 이후 TouchDesigner와 Python의 OpenCV 환경에서 MIDI 신호와 주파수 데이터, 피아노의 현의 떨림을 입력받아, 음의 세기, 리듬, 템포, 음색 변화에 따라 실시간으로 색채와 형태가 반응 하도록 설계하였다. 이 과정을 통해 인공지능은 음악의 감정적 파형을 데이터로 분석하고, 이를 다시 시각적 이미지로 변환하여 감정의 흐름을 즉각적으로 표현할 수 있었다.

그림 6 꿈의 궤도 전시전경

‘꿈의 궤도’의 오디오 비주얼라이징 작업에서는 세 개의 시각적 채널이 동시에 작동했다. 첫 번째는 Stable Diffusion이 생성한 순수 인공지능 이미지, 두 번째는 피아노의 건반 움직임과 소리 에 반응하는 실시간 인터랙션 영상, 세 번째는 미디어 아티스트가 전체 구조를 해석하고 감정적 리듬을 조율한 예술가 해석 영상이었다. 이 세 채널은 무대에서 동시 투사되며 서로 간섭하고 결 합하면서, 인간의 연주와 인공지능의 반응이 하나의 장면 속에서 공존하는 구조를 완성했다. 특 히 드뷔시의 달빛에서는 음색의 부드러운 흐름과 함께 빛의 질감이 화면에서 자연스럽게 변주되 었고, 메시앙의 불의 섬에서는 불규칙한 리듬과 불협화음의 긴장이 폭발적인 시각적 파동으로 나 타났다. 이는 단순한 시각 효과를 넘어서 음악의 감정을 데이터로 번역하고 다시 이미지로 되돌 리는 순환 구조를 보여주었다.

그림 7 실시간 비주얼라이징 작업물들

이 프로젝트에서 우리가 시도한 것은 인공지능의 자율 생성이 만들어내는 새로운 미적 언어에 대한 탐구였다. 인공지능이 음악의 감정적 구조를 스스로 해석하고 시각적으로 표현하는 과정은 인간의 예술 행위와 기계의 생성 행위를 동일한 감정의 층위에서 바라보게 했다. 2024년 G아티 언스 세미나에서는 이러한 시도가 ‘인공지능 미학(AI Aesthetics)’이라는 개념이 본격적으로 태동 하는 시점임을 언급했다. 우리는 인공지능을 단순한 도구가 아니라 하나의 새로운 종족, 즉 공동 창작자로 인식하고, 인간과 AI의 협업이 예술의 본질을 어떻게 변화시키는가를 연구했다. 이때 발생하는 우연, 오차, 혹은 감정의 불일치는 예측할 수 없는 새로운 질서를 만들어냈고 이는 기 존 예술이 다루지 못했던 설명할 수 없는 감정의 층위를 열어 주었다.

또한 우리는 음악의 시각화가 인간의 심상에 미치는 영향에 대해서도 문제를 제기했다. 예를 들 어 드뷔시의 달빛을 시각화할 때, 인공지능은 ‘보름달’을 이미지로 선택할 수 있지만, 어떤 사람 에게 달빛은 ‘초승달’일 수도 있다. 그렇다면 인공지능이 생성한 시각적 이미지는 인간의 상상력 을 확장하는 것일까?, 아니면 특정 심상으로 제한하는 것일까?. 이러한 질문은 인공지능 예술이 단순히 감정의 재현이 아니라, 인간의 인식 구조를 재편성하는 하나의 미적 실험임을 보여준다.

결국 우리는 인공지능이 인간의 감정적 경험을 단순히 반영하는 존재가 아니라, 감정과 이미지 사이의 관계를 새롭게 규정하는 또 하나의 예술적 존재로 진화할 가능성이 있음을 확인했다. 꿈 의 궤도와 G-아티언스는 그러한 인공지능 미학의 태동을 보여준 실험이며, 인간과 인공지능이 함께 만들어가는 새로운 언어를 제시한 프로젝트였다.