로봇 예술의 가능성
전명훈 버지니아공대 산업공학과 교수
전명훈 버지니아공대 산업공학과 교수예술의 영역까지 로봇이 활동하고 있다. 어디까지 가능할 것일까? 예술영역에서 로봇이 만들어내는 창의적 세계를 살펴보자.
“로봇은 인간처럼 예술 작품을 만들어 낼 수 있을까?” 질문을 바꿔보면, “사람들은 로봇이 만들어낸 작품을 예술로 받아들일까?” 심리학에서는 창의성을 ‘어떤 주체가 창의적인 결과물을 만들어 낼 수 있는가’로 정의하고 측정하기 때문에 이 질문이 심리학적으로 더욱 적절하다. 대답은 “그렇다”이다. 이미 이와 관련해 많은 실험들이 진행되어 왔고, 우리는 뉴스에서 IBM의 Watson컴퓨터가 여섯 명의 예술가와 함께 추상화를 그리는 것, 또한 2016년 장애인 올림픽에서 무희가 로봇 파트너와 함께 감동적인 공연을 하는 것을 목도한 바 있다.
IBM Watson + Ruslan Khasanov(Designer), 'Through Cognitive Eyes', 2016. New York.1954년에 발명된 최초의 프로그램 가능한 디지털 로봇, “Unimate”는 1961년에 미국의 자동차 회사 제너럴 모터스에 팔렸다. 체코 말로 “일”을 의미하는 "robota”라는 말에서 나온 “로봇”은 그 시작부터 생산 공장에서의 사용을 위해 디자인된 것이다. 그 시작이 이러하니 “일”이 아닌 다른 주제를 위한 로봇 리서치는 주류가 될 수 없었다. 하지만, 몇몇의 연구자들과 예술가들은 로봇을 예술과 접목시키기 위한 노력을 경주해왔다. 물론 로봇의 도입이 적극적으로 새로운 예술 장르를 만들어 낼 수도 있겠지만, 이번 글에서는 어떻게 로봇을 전통적인 예술 장르(회화, 연극, 음악, 춤)에 접목하여 왔는지에 초점을 두고자 한다.
회화에서의 로봇 예술
무엇인가를 그리는 행동은 아마 문화와 국가를 너머 사람들에게(혹은 최소한 어린이들에게) 나타나는 공통적인 의사소통 혹은 자기표현 수단일 것이다. 그림을 그리는 로봇을 만들기 위해서는 적어도 두 가지의 물리적인 요소가 필요한데, 관찰하기와 그리기가 그것이다. “컴퓨터 시각”과 “로봇 팔”에 대한 연구는 로봇 연구 초창기부터 매우 활발하게 진행되어 왔기 때문에, 이에 대한 연구는 사람의 능력을 흉내 낼 수 있을 정도로 충분히 발달해 왔다.
예를 들어, AARON이라는 회화 로봇은 사람의 시각 시스템을 모델링해서 2D, 2 1/2D, 그리고 3D의 지식 베이스를 포함하여 진화해왔다. 물리적인 두 요소 외에도 예술이 예술이 되기 위해서는 주체가 “지적인 의도(appreciation/value/meaning)"를 가지고 중요한 아이디어를 “창의적으로 표현(style/imagination/originality)" 할 수 있어야만 한다(Colton, 2008). 로봇이 자기만의 스타일을 만들어 낼 수 있도록 하기 위해서 연구자들과 예술가들이 로봇의 결과물에 피드백을 줄 수 있는 도제식 훈련 방법을 개발해왔다(예를 들어, 신경망을 이용한 학습 모델을 이용).
그리고 예술가들도 그러하듯이 관찰 단계를 건너뛴 채, 잭슨 폴록이 하듯이 물감이나 마커를 부착한 여러 대의 로봇 무리(swarm robots)가 추상화를 만들어내는 경우도 있었다. 하지만, 회화 로봇이 앞서 언급했던 “지적인 의도”를 가질 수 있는가에 대해서는 아직 의문부호가 붙어 있다.
연극에서의 로봇 예술
로봇 연극은 또 다른 로봇 예술 리서치 플랫폼으로 예술적인 공연을 향상함과 동시에 이를 로봇 리서치의 발판으로 삼는 것을 목표로 한다. 일본의 저명한 로봇 학자 Ishiguro의 로봇 액터스 프로젝트는 한 가정의 상황을 설정해 놓고 로봇 연극을 통해 관객들이 가까운 미래에 일어날 수 있는 사회문화적인 문제들을 숙고하도록 유도한다(Nishiguchi et al., 2017). 로봇 연극은 로봇이 미리 정해진 연극을 실행하는 것과 장면과 캐릭터의 구조에 따라 로봇이 즉흥적으로 공연하는 것으로 나눠볼 수 있다. Ishiguro 그룹은 첫 번째 접근에 기반하여, 실제 전문적인 무대 감독이 사람과 같이 자연스러운 연기를 하도록 로봇을 훈련시켰다. 카네기 멜론 대학에서는 아주 기초적인 수준의 두 번째 접근 (즉흥 공연)을 시도하였다(Bruce et al., 2000).
연구자들은 캐릭터, 목표 상태, 방해물, 주어진 상황과 같은 요소들을 포함하여 시나리오를 형식화한 후에 이러한 변수에 따라 로봇 캐릭터가 즉흥적으로 새로운 공연을 하도록 만들었다. 여기서는 로봇이 즉흥성을 가진다는 점에서 기본적인 “자율성(autonomy)"을 가진다고 할 수 있을 것이다. 하지만, 로봇이 여전히 미리 정해진 목표를 달성하기 위해서 움직인다는 점에서는 스스로 “지향성(intentionality)"을 가진다고 말하기는 어려울 것 같다.
음악에서의 로봇 예술
회화나 연극에서처럼 관찰과 실행 절차를 음악 로봇에서의 두 가지 기본적인 기능으로 볼 수 있다. 이를 바탕으로 음악 로봇은 상대 연주자의 소리 패턴을 분석하고 그에 따라 음악을 만들어 낸다. 회화와 근본적으로 다른 부분은 시각이 아닌 청각 기제를 사용한다는 점이다.
하지만 몇몇 음악 로봇들은 기계 시각을 이용하여 다른 연주자들의 제스처와 악기의 위치를 확인하고 그 음악의 맥락에 맞게 연주해 내기도 한다. 음악 로봇에는 크게 두 가지의 연구 분야가 있는데, 기계적인 방법을 사용하여 소리를 재생해내는 물리적인 시스템을 만들고 연구하는 음악 메카트로닉스(musical mechatronics)와 음악 지각, 구성, 공연, 이론에 대한 알고리즘과 인지 모델을 개발하는 기계 음악성(machine musicianship)이 그것이다. Cog나 Shimon과 같은 로봇은 전통적인 악기를 연주하는 로봇인 반면에, 어떤 로봇들은 새로운 실험적인 악기들을 연주하기도 한다.
그리고 두 경우 모두, 로봇 연주자는 인간에 대한 물리적 모델링을 통해 연주자를 가깝게 흉내내기 위해 노력한다. 예를 들어, the Waseda Flutist Robot No. 4 Refined IV는 사람의 입술과 폐, 그리고 손가락 움직임을 구현해내며, 조지아텍의 the Robotic Drumming Prosthesis 역시 사람과 같은 음악의 표현력을 달성하기 위해서 드럼 스트로크의 물리적 모델을 사용하고 있다. 연극에서와 마찬가지로 몇몇 로봇은 즉흥연주가 가능하다.
예를 들어, Shimon은 눈으로 다른 연주자들의 움직임을 관찰하는 동시에 귀로 음악의 흐름을 파악하고 생성 알고리즘을 사용하여 즉흥연주를 해낸다. 즉, 현재의 음악 로봇은 다른 연주자의 음악을 지각하고 그에 반응하여 자신의 연주를 적응적으로 변화시켜 나갈 수 있는 능력을 지니고 있다.
춤에서의 로봇 예술
춤에서 역시 연극이나 음악에서처럼 정확한 동작을 적절한 타이밍에 표현하는 것이 중요하다. 춤에서의 로봇 예술도 사람의 움직임을 흉내 내서 그것을 로봇 움직임으로 번역하는 것에서 시작한다. 하지만, 이런 번역 과정이 쉽지 않은데, 로봇의 무게, 균형과 팔다리 구조가 사람의 그것과 현저히 다르기 때문이다. 이를 극복하기 위해 예를 들어, Ikeuchi와 그의 동료들은 사람의 동작을 인식하고 분석해 내기 위해 미리 디자인된 과제 모델을 만드는 단계와 이 동작들을 로봇의 형태 및 역학으로 조정시키는 단계를 이원화하였다(Aucouturier et al., 2008). 춤은 기본적으로 소리와 감정을 움직임에 매핑시키는 과정이다. 이를 위해 역시 두 가지 단계가 필요하다.
첫째, 로봇이 학습 단계에서 연관된 소리와 함께 미리 정해진 움직임을 관찰한다. 그리고 다음 단계에서 로봇이 유사한 소리를 감지하면, 그와 함께 학습된 동작을 불러내서 표현한다. 앞서 언급했던 것처럼 이 과정에서도 기계학습이 사용된다. 이를 통해 연구자들은 회화에서처럼 인간 안무가들을 학습하고 스스로 진화할 수 있는 춤 로봇을 만들어냈다. 춤 역시 언어를 사용하지 않기 때문에 몸동작으로 의미를 만들어 관객에게 전달하는 작업이 쉽지는 않지만, 무용수들은 나름의 의도와 의미를 가지고 각각의 몸짓 및 전체 작품을 만들어낸다. 음악에서와 마찬가지로 학습에 의거해서 어느 정도의 자율성을 가진 즉흥 공연이 가능하지만, 이는 주로 무용의 형식론에 관한 것으로 보이며 의미론으로까지 발전된 것으로 보기는 힘들 것 같다.
창의적 표현과 지적인 의도
다시 처음 질문으로 돌아가 보면, 현재의 기술로 볼 때, 로봇이 만들어내는 예술 작품 결과물이 사람들이 예술로 받아들일 수 있는 수준인 것은 분명해 보인다. 하지만, 아직까지는 창의적인 표현이나 지적인 의도 모두에 있어 사람의 역할이 매우 큰 것을 볼 때, 창의성의 원천을 로봇에게만 두기보다는 예술가와 로봇의 상호작용에 두는 것이 더 적절해 보인다. 하지만, 창의적 표현력(스타일)에 있어서 만큼은 로봇만의 독특한 색깔도 만들어낼 수 있는 수준에 이미 다다른 것으로 보인다.
즉, 훈련과 학습을 통해서 로봇 팔이 화가가 그린 것처럼 멋진 파이프를 그리는 데에는 큰 문제가 없어 보인다. 하지만, 그 로봇 팔이 벨기에의 초현실주의 화가 르네 마그리트가 그랬던 것처럼 “이것은 파이프가 아니다”라고 그림에 의미를 붙여 주기를(혹은 그런 의도를 가지고 그 작품을 만들어내기를) 기대하기는 아직 좀 이른 듯하다. mind
* 이번 글이 지금까지 이루어져 왔던 로봇 아트에 대한 개괄을 했다면, 다음 글에서는 좀 더 본격적으로 최근의 인공지능과 기계학습의 발달이 어떤 방식으로 예술에 있어서의 창의적 활동 과정에 더 많은 영향을 줄 수 있을지에 대해 기술해보려고 한다.
* 이 글은 Multimodal Technologies and Interaction 저널 초판에 실렸던 제2017년 논문, Robotic arts: Current practices, potentials, and implications의 내용을 부분적으로 담고 있습니다.
<참고문헌>
Aucouturier, J. J., Ikeuchi, K., Hirukawa, H., Nakaoka, S. I., Shiratori, T., Kudoh, S., ... & Michalowski, M. P. (2008). Cheek to chip: Dancing robots and AI's future. IEEE Intelligent Systems, 23(2), 74-84.
Bruce, A., Knight, J., Listopad, S., Magerko, B., & Nourbakhsh, I. R. (2000, April). Robot improv: Using drama to create believable agents. In Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065) (Vol. 4, pp. 4002-4008). IEEE.
Colton, S. (2008). Creativity versus the perception of creativity in computational systems. In Proceedings of the AAAI Spring Symposium: Creative Intelligent Systems, Stanford, CA, USA, 26–28 March 2008.
Nishiguchi, S., Ogawa, K., Yoshikawa, Y., Chikaraishi, T., Hirata, O., & Ishiguro, H. (2017). Theatrical approach: Designing human-like behaviour in humanoid robots. Robotics and Autonomous Systems, 89, 158-166.
전명훈 버지니아공대 산업공학과 교수 | 공학심리 Ph.D.
가수의 꿈을 접고 전자회사에서 사운드 디자인을 하다가 영화 음악을 공부했다. 영화 음악가의 꿈을 접고 청각 디스플레이로 박사 학위를 받았다. 현재 버지니아공대 산업공학과와 컴퓨터과학과에서 Mind Music Machine Lab을 운영하고 있다. 사람과 기계(컴퓨터, 자동차, 로봇) 사이의 더 나은 상호작용을 디자인하기 위해 소리와 정서에 대한 연구를 하고 있다.
>> 한국인을 위한 심리학 잡지, <내 삶의 심리학 mind> 온라인 사이트가 2019년 7월 8일 오픈하였습니다. 내 삶의 비밀을 밝혀줄 '심리학의 세계'가 열립니다. 한국을 대표하는 100명의 심리학자와 함께 합니다.
카카오톡에서 '심리학mind' 친구 추가하고, 내 마음의 비밀을 풀어 보세요.
