[카카오AI리포트]"X의 목적은 통찰이지 Y가 아니다"
미디어 작가 | 최승준
예술은 한 때 예술이 아니라고 생각되던 것(nonart)을 예술(art)로 포섭하며 자신의 지평을 확장하는 경향이 있다. 어떤 새로운 기술이 인류사에 등장했을 때마다 이 동시대 기술로 창작에 관한 새로운 실험을 하는 사람들이 나타났고, 그들의 작품이 어떤 과정을 거쳐 예술 비평의 대상이 되다 보면 어느새 예술은 이전 보다 자신의 색을 다채롭게 하고 경계를 확장한다. 하지만 결과적으로 보면 그 과정이 순탄하지 않을 때가 많고 그 순탄하지 않음이 오히려 예술에 관한 이야기를 더 흥미롭게 만든다.현대 예술의 한 켠에 불확실한 영토를 확보한 뉴미디어 아트에도 그런 흥미로운 이야기들이 있다. 인공지능과 머신러닝을 창작자가 획득할 수 있는 동시대 기술로 보고, 전문가들 간 소통과 협업 이슈를 예술과 과학 사이에서 발생하는 상황에 빗대어 이야기를 시작해 보자.
[카카오 AI 리포트] Vol. 8 (2017년 11월 호)은 다음 내용으로 구성되어 있습니다.
[1] AI in Kakao - 기계번역기의 A to Z, 그리고 카카오의 기계번역
03. 오형석 : 카카오 번역기가 양질의 대규모 학습 데이터를 확보하는 방법
[2] hot topic - 카카오미니와 제프리 힌튼 그리고 ICCV
04. 조희주, 김수형 : 카카오미니는 어떻게 스무고개 정답을 맞출까
05. 이수경, 강종호 : 제프리 힌튼의 캡슐망을 풀이하다
[3] AI & media art - 예술에 인공지능을 묻다
[4] exercise - 슈퍼마리오 그리고 GAN: 두번째 이야기
09. 송호연 : 강화학습으로 풀어보는 슈퍼마리오 part2.
[05] information
11. 석/박사생을 위한 카카오의 상시 연구지원 프로그램
[카카오 AI 리포트] Vol. 8 전체글 다운받기
[카카오 AI 리포트] Vol. 8_08 다운받기
예술과 과학 사이 각도가 만드는 그림자
미디어 아티스트로 활동할 때, 예술과 과학의 만남을 주제로 삼는'이벤트'에 참여했던 경험이 몇 번 있었다. 이 경험들은 '애프터 없는 소개팅' 같이 이벤트 후에 지속가능한 관계로 이어지지 않는 경우들이 많았다. 왜 그랬을까 돌이켜 생각해보면, 보통 짧은 일정속에서 결과물을 만들어 내야 했기 때문에 서로의 전문 분야를 이해할만한 충분한 시간이 없었기 때문이다. 그리고, 서로의 전문분야에 대한 이해 없이 각자 자기 분야의 압축되어 있는 용어를 사용하며 소통을 시도하는 실책을 범했다. 서로가 상처를 주고 받으며 어떻게든 마무리를 해내더라도, 그 작업이 끝나고 난 이후 지속적으로 뭔가를 함께 하기에는 그 관계가 서먹했었던 것 같다.
[ 그림 1 ] 예술과 과학 사이, 그리고 둘 사이의 이해의 계곡다른 분야 전문가와 함께 무언가를 할 때, 왜 우리는 각자의 전문 분야의 등성이에서 서로를 향해 움직이지 않은 채 소통을 시도하는 것일까? 왜 우리는 계곡을 내려가 발이 닿는 찰박찰박한 시냇가에서 함께 물장구를 치며 목적없이 놀아보는 경험은 지속하려고 하지 않았던 것일까? 자신의 분야에 관한 높은 수준의 이해는 담지 못하더라도 소통을 하기 위해 서로의 눈높이에 맞춰서 이야기를 나누고, 발이 닿는 지점에서 이런 저런 실험과 모험을 꾸준히 반복하다 보면 자연스럽게 더 깊은 물에 도전할 수 있는 용기와 실력을 키울 수 있었을텐데. [그림 1]에서처럼 어느 분야라도 높이 올라가면 첨단의 내용은 사뭇 다르지만 뿌리 쪽은 서로 연결돼 있거나 공통 부분을 가지고 있는 경우가 많고, 이 공통 부분은 허우적거리며 헤엄치다가 힘들어질 때 지지할 수 있는 발판이 되어줄 수 있다.
이런 맥락에서 지난 6월에 요아브 골드버그(YoavGoldberg)의 자연어의 적대적 생성에 관한 적대적 리뷰(an adversarial review of "adversarial generation of natural language")로 촉발된 논의들 중에 페이스북 인공지능 연구소의 디렉터인 얀 르쿤(Yann LeCun)이 한 이야기*1가 인상에 강하게 남았다
만약 커뮤니티를 서로 방향이 다른 단위 벡터로 가정한다면, A벡터를 B벡터 위에 투영했을 때 A벡터는 B벡터 보다 짧아진다. 그러므로 A는 B보다 열등하다고 생각할 수 있다. 그러나 반대의 경우도 마찬가지로 B벡터를 A벡터 위에 투영하면 B벡터는 A벡터보다 짧아진다. 커뮤니티들이 공통의 언어를 개발하고 서로의 방법들 중 가장 좋은 것을 받아들이는데는 시간이 걸린다.
[ 그림 2 ] 두 전문 분야 벡터의 상호 투영이 글을 읽은 소회*2를 적다 보니 서로 다른 분야의 전문가가 원할한 소통을 하기 위해 상대방에게 제안하는 의견의 경우 각자의 관점에서 보기에는 당연히 부족함이 있을 수 있단 생각이 들었다. 그러한 부족함에도 불구하고 서로 상호 작용과 소통을 지속해 나간다면 그 과정에서 무엇인가가 일어날 수 있지 않을까 하는 기대도 갖게 됐다. 그런데 만약 과학에서 출발해 예술을 배워 나가거나 아니면 반대로 예술에서 출발해 과학을 배워 나간다면 어떻게 될까? 그 사이를 연결한 벡터는 원래의 벡터들이 서로 더 벌어질 때 더 길어진다. 그러므로 예술과 과학이 찰박찰박한 지점에서 만나 가깝게 이어진 후에는 그 이어진 상태를 유지하면서 각도를 조금씩 늘리는방법으로 더 긴 제 3의 벡터를 만들 수 있다
[ 그림 3 ] 두 전문 분야가 이어져 있는 상태에서 서로 더 다를 때얀 르쿤이 단위 벡터로 빗대어 설명한 것에서 비유와 유비(類比, analogy)를 더 이어 나가다 보면 삼각비(三角比)를 연상하게 되는데 ,analogy의 어원에 비 또는 비율이 있어서 재밌다. 나에게 가까운 변을 과학으로 하고 반대 쪽으로 멀리 있는 변을 예술로 한다면(또는 그반대) 그 사이에 비스듬하게 세워진 빗변은 무엇일지 궁금하다.
[ 그림 4 ] 삼각비와 유비무엇인가의 차이를 늘리고 줄이는 과정은 학습과 관련된 부분이 많은 것 같다. 특히 뉴럴 네트워크에 관해 공부를 하다 보면 두 벡터가 얼마나 다른지를 측정하는 척도로 코사인 유사도(cosine similarity)나 내적(dot product)이라는 개념을 만나게 된다. 뉴럴 네트워크를 도구로 획득하기 위한 오솔길 탐색을 시작하는 지점에서, 예술가들은 이공계 분야 배경을 가진 사람에게 이미 익숙한 이 개념들을 새롭게 볼 수 있는 기회를 얻고, 다른 배경을 가진 사람들은 이제부터라도 선형대수를 진지하게 대면할 수 있는 기회를 얻는다.
이야기를 더 이어 나가기 전에 비유와 모형이 가지는 한계를 살펴 보고자 한다. 더글러스 호프스태터(Douglas R. Hofstadter)의 괴델, 에셔, 바흐*3의 표지에 등장하는 입체를 세 가지 방향에서 만들어진 G, E, B의 그림자로 미루어 연상하는 것은 사람에 따라 꽤 생각이 필요하며 시간이 걸리는 일이다. 이해를 쉽게 하기 위해서 빗대어 표현한 개념들, 즉 비유를 사용한 개념들은 그림자와 닮아 있어 거기에 담겨진 정보가 원래의 정보보다 줄어들 때가 있다. 이러한 점을 고려해보면, '과연 예술이나 과학을 벡터에 빗대어 표현하는 것이 얼마나 합당할까?' 라는 의문이 든다. 마찬가지로 모형도 어떤 현상을 그 현상의 중요한 특징들로 추상화했기 때문에 유용하게 다룰 수 있긴 하지만, 모형으로 만드는 과정에서 편향*4이 필연적으로 발생하기도 하고, 상대적으로 중요성이 떨어지는 일부 내용은 미처 담지 못하기도 한다. 차원 축소 덕분에 소통(전문 분야의 봉우리에서 내려와서)을 할 수도 있고 복잡한 다양체(manifold*5)와 같이 시각적으로 떠올리기 어려운 높은 차원의 내용을 다양한 관점의 낮은 차원에서 파악한 그림자(또는 잠재공간 - latent space)들로 미루어 짐작하고 이해하는 시도를 할 수도 있다. 그러나 이 접근이 유발할 수 있는 잠재적인 오해와 위험은 늘 조심해야 한다. 물론 무엇인가가 딱 맞아 떨어지지 않고 어긋나 있는 현상은 예술이 잘 다루는 주제다. 존 버거(John Berger)는 '다른 방식으로 보기'*6에서 르네 마그리트(Rene Magritte)가 언어와 시각 사이의 영원한 어긋남을 '꿈의 열쇠(la clef des songes)'라는 그림 속에 표현했다고 말했다. 그래서 이 글에서도 위험을 감수하며 어긋날 수도 있는 태도를 계속 유지해볼까 한다. 그러므로 이 글을 읽는 독자들 또한 그런 뭔가 어긋나 있는 부분이나 각 전문 분야에서 보면 짧고 부족할 수 있는 내용에 주의를 해가면서 비판적인 태도로 읽어주길 바란다.
벤 라포스키와 만프레드 모어의 후예들
컴퓨터를 활용한 창작의 역사를 살펴보면 1950년 대에 오실로스코프(ooscilloscope)를 가지고 작업했던 수학자 벤라포스키( Ben F. Laposky)*7의 작업을 발견하게 된다. 그의 작업은 컴퓨터를 활용했다기 보단 전자 회로를 활용해서 추상적인 이미지를 표현한 것인데 Electronic Abstractions라는 이름의 순회 전시를 한 벤 라포스키의 경우 수학에서 예술로 향한 벡터의 사례라고 생각해 볼 수 있다. 만프레드 모어(Manfred Mohr)*8는 1960년대 부터 프로그래밍 언어인 포트란(FORTRAN)을 활용해서 추상적인 이미지를 표현하는 작업을 했다.
만프레드 모어는 추상 표현주의 작가이자 재즈 뮤지션이었다. 세계 최대의 컴퓨터 그래픽스 행사인SIGGRAPH(Special Interest Group on GRAPHics and Interactive Techniques)에서 평생 공로상을 수상하기도 한 만프레드 모어는 예술에서 컴퓨터 과학으로 향한 벡터의 사례로 생각해 볼 수 있다.
예술과 기술에 관한 흥미로운 이야기가 궁금하다면, 프로세싱*9의 개발자 중 한 명인 케이시 리스(Casey Reas, @REAS)의 '미래 그리고 예술과 기술의 1965년부터의 역사(History of the future, art & technology from 1965)'*10 발표 영상을 보길 추천한다.
벤 라포스키와 만프레드 모어 둘 다 동시대 기술을 적극적으로 창작에 활용했다는 공통점이 있다. 그렇다면 요즘의 동시대 기술인 '머신러닝'을 창작에 활용하는 사람들은 어떤 부류의 사람들일까?뉴미디어 아트의 가장 유명한 축제인 아르스 일렉트로니카(Ars Electronica)의 2017년 주제는 'AI 또 다른 나(AI the other I)'*11였다. 올해 출품작 중에는 2016년 머신러닝의 화두를 대표하는 키워드 중 하나인 GAN(generative adversial network)을 활용한 작업이 있다. 바로 마이크 타이카(MikeTyka, @mtyka)*12의 상상 인물의 초상화(Portraits of imaginary people)*13란 작업이다(※ 영문 이름 뒤에 나오는 '@~'는 해당인물의 트위터 아이디다). 마이크 타이카는 바이오 피직스 분야의 박사로 2009년에 버닝맨 페스티벌*14에 참여하여 조형 작업을 한 것이 계기가 되었는지, 그 이후로 단백질 구조 등을 조형물로 표현하는 작업을 하며 예술 분야에서 활동한 경험이 있다. 그는 2015년에 구글 리서치 블로그에서 발행한 Inceptionism: going deeper into neural networks*15를 기고한 세 명 중의 한 명이기도 한데, 이 글은 2015년 당시 나의 SNS의 타임라인을 '딥 드림(DeepDream)'에 관한 실험들로 범람하도록 하는데 기여했다.
다른 두 명인 알렉산더 모드빈체프(Alexander Mordvintsev)와 크리스 올라(Chris Olah, @ch402)는 최근 distill.pub에 특징 시각화(feature visualization)*16라는 제목으로 뉴럴 네트워크가 이미지를 어떻게 인식하는지에 관한 내용을 총 망라한 글을 출판했다. 알렉산더 모드빈체프, 마이크 타이카 그리고 크리스 올라의 이야기는 와이어드(Wired)지의 딥 드림의 내부(INSIDEDEEP DREAMS)*17라는 글에서 관련 일화를 조금 더 자세히 살펴볼수 있다. 그 밖에도 올해 아르스 일렉트로니카 출품작 중에는 마리오 클링게만(Mario Klingemann, @quasimondo)*18의 X Degrees of separation*19이 있는데, 클링게만은 구글의 문화 예술 연구소가 수집한 같은 이름의 예술 유물 사진과 자신의 작품 사이의 시각적인 연관성을 재미있게 보여주는 작업을 구글의 예술 실험실에 올렸다*20. 마리오 클링게만은 자신의 습작을 트위터에 꾸준히 올리곤 하는데, 최근의 GAN을 응용한 습작들에 관한 이야기가 '뉴로그래퍼'가 인공지능에 예술을 집어넣다(A neurographer puts the art in artificial intelligence)*21라는 제목으로 와이어드지에 실리기도 했다. 와이어드지는 예술을 다루는 매체가 아닌 점을 상기해 가며 읽어보길 권한다.예술가를 위한 머신러닝 강의와 워크숍을 하며 전 세계를 다니고 있는 진 코건(@genekogan)도 올해 아르스 일렉트로니카에 작업*22을 출품했다. 진 코건은 올해 Eyeo 페스티벌에서도 굶주린 컴퓨터 과학자, 머신러닝으로 어떻게 한 푼도 벌지 않을 수 있는지 알려주는 튜토리얼(Starving computer scientist, a tutorialon how to make no money from machine learning)*23이란 머신러닝과 창작에 관한 발표를 했다. 이들 외에도 데이빗 하(David Ha, @hardmaru), 카일 맥도널드(Kyle McDonald, @kcimc), 메모 악탄(Memo Akten, @memotv), 레베카 피에브링크(Rebecca Fiebrink, @RebeccaFiebrink), 루바 엘리엇(Luba Elliott, @elluba),요탐 만(Yotam Mann, @yotammann), 사밈 위니거(Samim Winiger, @samim) 등 머신러닝을 창작에 활용하고 있는 다양한 창작자와 연구자들이 있는데, 이 사람들 중 하나의 트위터 계정만 팔로우 해도 꼬리에 꼬리를 물고 머신러닝을 활용하고 있는 창작자들을 더 많이 발견할 수 있다.이 중 데이빗 하의 이력이 특히 흥미롭다. 어떻게 AI가 음악과 예술을 재구성하는 단위를 만들 수 있는지(How A.I. is creating building blocks to reshape music and art)*24에 관한 뉴욕타임즈 기사를 보면, 그가 동경의 골드만삭스에서 트레이더로 일했던 경력이 나온다. 그러다가 자신의 블로그*25에 올린 뉴럴 네트워크를 활용한 창작 작업이 알려지면서 구글 브레인팀의 레지던시도 하고 마젠타 팀에 합류하여 Sketch RNN*26등의 작업을 했다.
[ 그림 5 ] Sketch RNN, Multiple Predict Demo이들이 가지고 있는 배경을 조금 찾아보면, 대부분의 경우 수학이나 컴퓨터 과학을 전공했거나 프로그래밍 리터러시(literacy, 읽고 쓰는능력)를 가지고 일찌감치 코드로 창작 활동을 해오다 다시 동시대 기술인 머신러닝을 도구로 획득해서 창작 활동을 하고 있는 패턴에 대해 확인할 수 있다. 그렇기에 이들은 아무래도 벤 라포스키의후예들에 조금 더 가까운 것이 아닐까 생각하게 된다. 그렇다면 만프레드 모어의 후예들은 요즘 무엇을 하고 있을까?
컴퓨터를 활용한 예술 작업의 초창기에는 수학자나 컴퓨터 과학자 중에 창작에 관심이 있는 사람들이 작업을 했는데, 기술의 문턱이 낮아지고 인터페이스의 접근성이 좋아지면서 더 많은사람들이 이런 방식의 창작의 흐름에 참여했다(물론 아직 머신러닝의 기술 문턱과 인터페이스는 아직 더 많은 사람들을 포용할 수 있는 단계는 아닐지도 모른다). 21세기에 이르러 프로세싱 등 기술의 문턱을 낮추고 접근성을 높게한 도구들이 등장하면서, 코드를 활용해 창작을 하는 디자이너와 예술가들은 폭발적으로 늘어났다. 아직 이 방향에서 접근하는 창작자들 중 머신러닝을 도구로 획득한 경우는 상대적으로 드물지만 이 창작자들이 다룰 수 있는 기술의 난이도와 문턱이 어떤 변곡점을 넘으면 다시 만프레드 모어의 후예 같은 사람들의 활동 또한 매우 왕성해지며 우리가 그 동안 보지 못했던 새로운 창작의 영역들을 개척해내리라 예상해 본다. 구글의 예술가와 기계지능(artists and machine intelligence, AMI)*27프로그램을 이끌고 있는 블레이즈 아구에라(Blaise Aguera, @blaiseaguera)는 '컴퓨터가 창의력을 배우는 방법'*28이라는 TED 강연에서 딥 드림의 메커니즘을 대중이 이해할 수 있도록 쉽게 풀어주면서 미켈란제로(Michelangelo)를 언급한 바 있다
마지막으로 저는 미켈란젤로의 생각이 옳았다고 생각합니다. 인식과 창의성은 매우 밀접하게 연결되어 있습니다. 지금까지 보신 것은 세상의 많은 사물들을 식별하거나 인식할 수 있도록 학습한 뉴럴 네트워크로 이 뉴럴 네트워크를 거꾸로 적용하면 그 사물들의 이미지를 생성해 낼 수 있습니다. 제가 이것을 보고 느낀 점 중에 하나는 미켈란젤로만 돌덩이 안에 있는 조각상을 본 것이 아니라 인식행위를 할 수 있는 어떤 생물이나 존재, 심지어 외계인이라도 인식 행위를 할 수 있으면 창작할 수 있다는 것 입니다. 인식하는 것과 창작하는 것은 같은 작동 원리를 가지기 때문이죠.
그런데 블레이즈는 AMI의 다른 영상*29과 머신러닝 시대의 예술(Artin the age of machine intelligence)*30에서는 대중이 쉽게 알만한 미켈란제로의 말이 아니라 발터 벤야민(Walter Benjamin, 기술 복제시대의 예술작품)*31이나 빌렘 플루서(Vilem Flusser)*32와 같이 미디어에 관해 중요한 이야기를 한 철학자와 데이빗 호크니(DavidHockney)*33 같은 예술가의 말을 인용한다. 이를 통해 머신러닝을 창작의 도구로 삼는 방향의 접근이 예술의 어떤 맥락과 관련이 있는지 짚으려는 조금 더 본격적인 시도를 한다.
이 관점은 우리가 예술을 혼종(hybrid)의 존재에 의해 생성 되기도 하고 소비되기도 하는 무엇으로 다시 생각하게 합니다. 예술적 생산에 관련된 기술은 예술과 '다른'것이 아니라 그 '일부'인 것입니다. 미디어 철학자인 빌렘 플루서가 말했듯이 "도구는 보철 치아, 손가락, 손, 팔, 다리 등 인체 기관의 연장입니다." 붓이나 곡괭이 같이 산업 시대 이전의 도구가 인체의 생체역학을 확장했듯이, 보다 정교한 기계는 인간의 정보 세계와 생각을 보철적(prosthetically)으로 확장합니다. 따라서 카메라를 포함한 모든 장치(컴퓨터뿐만 아니라)는 인공지능입니다.
여기서 도구는 '미디어의 이해'*34의 저자 마셜 맥루한(Marshall McLuhan)이나 사이버네틱스*35의 제창자이자 '인간의 인간적활용'*36의 저자인 노버트 위너(Norbert Wiener)가 말한 것 처럼, 우리 자신과 피드백 루프를 형성하며 존재를 보다 확장하고 결국 이전과는 확연히 다른 존재로 변화하도록 안내하는 그런 도구일 것이다.
블레이즈는 학창 시절 물리학을 공부하고 마이크로소프트를 거쳐(Seadragon과 Photosynth를 만드는데 기여했다)*37 현재 구글의 AMI를 이끌고 있다. AMI에서 A가 예술(Art)이 아니라 예술가(Artist)인 점이 재밌다. 혹시 그가 과학의 벡터에서 예술의 벡터로 그림자를 내리고 자꾸 예술에 관한 이야기를 언급하면서 예술을 배우고, 예술가와 친해지며, 예술에 관해 실험하는 재미있는 모험을 진행하는 중이 아닐지 추측해 본다. 그리고 이런 부류의 사람들이 자신이 학습한 것을 조금 더 쉬운 언어로 풀어내 더 많은사람들을 찰박착박한 시냇가로 초청하고 함께 놀면서 그들의 도전과 학습을 돕는 도움계단을 만들고 있는 것은 아닐까?
한편 지금까지 언급한 맥락, 즉 머신러닝을 활용해 창작의 문턱을 낮추거나 창작의 방식을 재구성하는 방향과 일맥상통하긴 하지만 약간은 다르게 접근하고 있는 사례로 어도비(Adobe)의 연구가 있다.
어도비 센세이와 메멕스
알파고 제로에 관한 뉴스*38가 타임라인을 채우던 날 어도비는 자사의 맥스 2017 키노트*39에서 어도비 센세이(Adobe Sensei)*40를 시연했다. 어도비는 시연에서 자연스러운 상호작용(natural interaction), 콘텐트 지능(content intelligence), 디자인 지능(design intelligence) 세 가지를 강조했으며, 인간이 프로그래밍 언어 등을 학습해 도구인 기계 쪽으로 다가가서 상호작용 했었던 과거와는 달리, 기계가 인간 쪽으로 훌쩍 더 다가와서 상호 작용함에 따라 펼쳐지는 창작의 새로운 방향과 가능성을 보여줬다. 이 시연을 보고 느낀 점을 소셜 네트워크 서비스*41에 적어 두기도 했는데, 시연은 다음과 같은 내용으로 구성되어 있다.
1. Natural interaction (자연스러운 상호작용)
1.1. 기본 아이디어를 담은 스케치를 불러오면 스케치 안의 구성요소의 의미를 인식한다. 이 때 음성으로 'find images based on my sketch'라고 입력하면, 우주와 여성 등 스케치 안에 등장하는 구성요소에 해당하는 이미지를 스톡 이미지 및 보유하고 있는 이미지에서 찾고 우주가 배경이 되고 여성이 전경에 등장하는 포스터를 만드는 과정을 시작한다.
2. Content intelligence (콘텐트 지능)
2.1. Adobe Stock에서 관련이 있는 우주 배경을 가지고 온 다음, 가져온 이미지 우하단에 생긴 Sensei 버튼을 클릭한 후 그 우주 이미지를 조금 더 탐색한다. 우주의 하위개념과 그에 해당하는 이미지의 구성 요소들을 인식하며 시각화 되고 상호작용 가능하게 된다.
2.2 . 인식한 요소인 별에서 별들의 밝기와 밀도 그리고 크기를 조정해서 스톡 이미지 중에 원하는 이미지를 찾고 배경으로 가져온다.
2.3. 가지고 있는 이미지에서 찾아서 제안한 여성 이미지를 배치한 후 Sensei 버튼을 클릭하면, 역시 그 이미지 안에 있는 특징들을 추출하고 자세히 조작할 수 있는 화면으로 넘어간다.
2.4. 인식한 얼굴의 특징을 선택한 후 left/right를 클릭하면 얼굴의 위치는 고정된 채, 가지고 있는 인물의 다양한 사진들 중 고개를 왼쪽에서 오른쪽으로 돌린 것들을 탐색한 후 원하는 이미지를 고를 수 있다. 완전히 옆으로 돌린 얼굴까지 깔끔하게 인식한다. 이 외에도 up/down, eyes, smiles 등의 인터페이스를 이용해 다양하게 조정할 수 있다.
2.5. 그렇게 가져온 인물 이미지는 역시 클릭 한번으로 인물 이미지의 배경을 제거하고, 아까 찾아둔 우주 이미지를 배경으로 하는 장면에 합성하고 원하는 위치에 배치한다.
3. Design intelligence (디자인 지능)
3.1. 여기서부터는 미리 준비한 위 작업에서 조금 더 발전시킨 영화 포스터 디자인 시안을 바탕으로 이어간다. 이 때 중요한 것은 창작자가 이전에 작업한 스타일을 학습한 템플릿을 제공하고 이전에 작업한 것과 비슷한 스타일의 작업 요소를 제안하고 지원한다.
3.2. 과거에 이런 작업 맥락에서 사용했던 제목 폰트 중에 하나를 고를 수 있도록 제안하고 이전에 작업했던 제목 텍스트 레이아웃을 제안하며 손쉽게 작업 시안의 공간을 탐색할 수 있도록 돕는다.
3.3. 지금까지는 포토샵에서 작업을 한 것인데, 앞서 한 작업을 토대로 모바일 타겟의 작업을 하기 위해 UI 프로토타이핑을 할 수 있는 XD(http://www.adobe.com/products/xd.html)로 넘어간다.(이미 아이패드에 대응하는 작업은 있는 상태) 그리고 음성입력으로 아이폰 8에 대응하는 레이아웃을 제안하라고 명령하면, 고를수 있는 시안을 보여준다.
3.4. 그 시안 중에서 마음에 드는 것을 고르면, 원래 작업했던 아이패드 앱용 레이아웃을 아이폰 8에 대응하는 시안으로 제공한다. 기존 프로토타이핑 (시안)작업에서는 타겟 디바이스에 따라 화면비, 해상도 등에 따라 조정이 필요한데 이를 해결한 것이다. 또한 사용자는 아이폰 8으로 시안을 바로 작동해 보고 다시 조정할 수 있다.
3.5. 어도비 센세이는 창작자가 작업하는 모든 과정을 추적하고 학습한다. 지금까지의 최종 시안에 나오는 Sensei 버튼을 누르면 처음 스케치 부터 지금까지 창작자가 선택하고 결정한 모든 과정을 나무 구조로 조망해 볼 수 있다. 이 때 그 나무구조를 Creative Graph라고 부른다.
3.6. Creative Graph에서 창작 과정 중의 한 지점을 다시 재방문해서, 예를 들면 아까 얼굴의 왼쪽/오른쪽을 골랐던 작업 과정을 재방문하고, 다른 각도의 얼굴 사진을 손쉽게 그래프 상의 UI로 선택하면, 최종 시안에 바로 반영이 된다(앞서 얼굴 사진에 적용했던 창작 과정들은 자동으로 다시 적용된다).
3.7. 심지어 처음 스케치를 입력했을 때 인식했던 요소 중 여성을 남성으로 바꾸면, 이 가상의 영화 포스터에 등장하는 인물 사진은 남자 주인공의 사진으로 바뀌며 앞서 작업했던 스타일/창작과정을 적용한다.
3.8. 그렇게 만들어낸 두 개의 시안을 담은 아트보드를 보여주며 데모를 마친다.
이 시연과 AMI에 패트릭 헤브론(Patrick Hebron,@PatrickHebron)이 기고한 머신러닝 시대에 디자인 도구를 다시 생각해 보기*42는 많은 관련*43이 있다. 패트릭 헤브론은 이 글에서 발현하는 특징들(emergent feature sets), 탐험을 통한 디자인(design through exploration), 기술에 의한 디자인(designby description), 절차를 조직하기와 대화형 인터페이스(process organization and conversational interfaces) 등의 개념을 짚었고, Creative AI*44의 사밈이 쓴 기계의 도움을 받는 글쓰기(assistedwriting)*45에서는 근미래의 워드프로세서가 가질 10가지 가능성(추천 recommend, 요약 summarize, 단순화 simplify, 변형morph, 전이 transfer, 예측 predict, 생성 generate, 번역 translate, 협력 collaborate, 인터페이스 interface)을 짚었는데 두 글 다 머신러닝에 의해 확장될 도구가 어떤 형태가 될 지 상상해 보는데 도움이 된다.사밈은 본문에 더글러스 엥겔바트(Douglas Engelbart)의1968년 모든 데모의 어머니*46에 등장하는 NLS(oNLine System)*47의 사진을 인용하며 개념 공간에서의 생각 벡터("Thought vectors inconcept spaces." — Douglas Engelbart)라고 적어두었지만, 아쉽게도더글러스 엥겔바트가 진짜 이런 말을 했다는 참고 자료는 찾을 수 없었다. 생각 벡터는 오히려 제프리 힌튼(Geoffrey Hinton)이 사용해서 더 잘 알려진 용어인 것 같다.
[ 그림 6 ] 모든 데모의 어머니에서 시연한 NLS그러므로 사밈의 글은 비판적인 태도로 읽을 필요가 있지만 테드넬슨(Ted Nelson)의 하이퍼텍스트 개념이나 더글러스 엥겔바트의 인간 지능의 증강*48(또는 지능의 증폭, intelligence amplification,IA*49) 개념과 요즘의 인공지능, 머신러닝의 전개를 연결지어 풀이해본 시도는 재미도, 의미도 있다고 생각한다.
더글러스 엥겔바트는 바니바 부시(Vannevar Bush)*50의 생각에 영향을 많이 받았는데, 컴퓨터가 단순히 계산기계가 아니라 정보를 처리하고 인간과 긴밀하게 상호작용할 수 있는 존재가 되리란 전망을 담은 우리가 생각하는 대로(As we may think)*51라는 글을 디 아틀란틱(The Atlantic)에 1945년 7월과 9월에 기고했고거기에는 다음과 같은 내용*52이 있었다.
점점 많은 연구가 진행되고 있다. 그러나 오늘날 분야별 전문화가 확장되면서 과학은 확실히 정체되고 있는 것 같다. 연구원은 다른 수천 개의 연구물과 연구결과에 좌절하게 된다. 연구 결과가 나오면, 기억하기에는 너무 많고, 이해할 시간도 부족하다. 그러나 발전을 위해 전문화는 점점 더 필요하며, 각 분야의 연구를 연결하려는 노력은 피상적인 것이 되어 버린다. 연구 결과를 전송하고 검토하는 전문적인 연구 방식들은 이미 낡은 것일 뿐 아니라, 지금까지의 연구 목적에도 전혀 맞지 않는다. (중략) 하찮은 많은 것들 속에 파묻혀 정작 중요한 업적이 잊혀지는 불행은 지금도 반복되고 있다. 문제는 다양한 관심사를 다루는 출판이 오늘날 과도하게 이루어지고 있다는 것이 아니라, 오히려 기록된 것을 유용하게 하는 우리의 현재의 능력을 출판이 훨씬 넘어서고 있다는 것이다. 인간 경험은 대단히 빠른 속도로 증가하고 있으나, 미궁을 뚫고 빠져나가 중요한 아이템으로 나아가기 위해 사용하는 방법은 돛단배를 타고 다니던 시절과 동일하다.
1945년 8월에 일본에 핵폭탄이 투하되면서 2차 세계 대전은 종전으로 치달았고, 루즈벨트(Franklin D. Roosevelt) 대통령의 과학 자문이자 맨하튼 프로젝트의 일원이었던 바니바 부시는 기술이 가지는 파괴적인 측면을 우려했다. 그래서 우리가 방대한 정보를 보다 잘 다루게 된다면 조금 더 이성적으로 행동할 것이라는 기대를 가지면서 정보를 검색하고 처리할 수 있는 메멕스(Memex)*53라는 기계에 관한 아이디어를 제시했고 더글러스 엥겔바트는 그 영향*54으로 NLS에 관한 아이디어를 구체화했다.
메멕스(Memex)즉, 이미 1940년대에도 인류가 축적한 정보는 이미 과잉 상태였고,우리는 그 정보를 잘 다룰 수 있는 도구가 필요했다. 여기에서 조금 더나아간 개념이 바로 1960년의 J. C. R. 리클라이더(J. C. R. Licklider)가 쓴 인간-컴퓨터 공생(Man-computer symbiosis)*55이다. 본문의 소제목만 읽어도 흥미로운데 요약에서 언급한 내용은 다음과 같다.
인간의 두뇌와 계산 기계는 매우 가깝게 결합할 것입니다. 그리고 그 파트너쉽의 결과로 우리가 오늘날 알고 있는 정보를 다루는 기계 없이 데이터를 처리하거나 생각하는인간의 두뇌는 없을 것입니다.
1.2 항목의 기계적으로 확장된 인간과 인공지능 사이(Between "mechanically extended man" and "artificial intelligence")라는 제목도 재미있지만 3항목인 실시간의 형식화 사고를 위해 컴퓨터를 참여시킬 필요(Need for computer participation in for mulative and real-time thinking)부터 다시 메멕스와 관련된 내용이 나온다.
나는 생각하는 시간의 85퍼센트를 생각하는데 필요한 자세를 취하고, 무엇인가를 결정하고, 내가 알아야 할 필요가 있는 것을 배우는데 씁니다. 정보를 소화하는데 드는 시간보다 정보를 찾고 모으는데 드는 시간이 훨씬 많이 듭니다. 그래프를 직접 그리거나 조수에게 그래프를 그리는 방법을 가르치는데도 많은 시간이 듭니다. 일단 그래프가 완성된 다음에는 관계들은 즉시 명확하게 보입니다. 그러나 그 관계들이 그렇게 명확하게 보이려면 그래프를 그리는 작업까지가 완료되어야만 합니다.(중략)
다양한 방식으로 이야기했던 것처럼, 인간은 잡음이 많고, 좁은 대역폭의 장치이지만, 인간의 신경계는 동시에 여러가지 일을 처리할 수 있는 병렬성과 즉각적으로 반응하는 회로를 가지고 있습니다. 인간과 비교해 볼 때, 컴퓨터는 대단히 빠르고 정확하기는 하지만, 한번에 한 가지만을 처리하거나, 이미 주어진 몇 가지 기본 연산만을 할 수 있을뿐입니다.(중략)
만일 인간과 컴퓨터의 긍정적인 특성을 효과적으로 결합하면, 공생적 협력관계는 대단히 가치 있을 것입니다. 물론, 속도와 언어상의 차이는 극복해야 할 어려운 문제로 남아있지요.
1960년에 쓰여진 이 글은 어도비 센세이의 콘텐트 지능, 디자인 지능과 관련이 많다. 이 글을 요즘의 머신러닝 맥락에서 보자면,데이터 처리에 만만치 않게 데이터의 수집과 전처리 그리고 시각화에 많은 수고와 비용이 필요한 상황으로 이해할 수 있을 것이다.
물론 이 과정을 효율적으로 만들기 위해 고안된 컴퓨터는 오히려 더 많은 정보를 생산하고 소비하는 도구가 되었기 때문에 오늘 날에도 여전히 통하는 이야기다. 리클라이더의 다른 아이디어인 범 우주적인 컴퓨터 네트워크(intergalactic computer network)는 인터넷의 전신인 ARPANET의 근간이 되는 개념이다. 레이 커즈와일(Ray Kurzweil)이 이 글의 전문을 자신의 사이트에 옮겨둔 것*56이 있다.
X의 목적은 통찰이지 Y가 아니다
리처드 해밍(Richard Hamming)*57도 1962년에 "컴퓨팅의 목적은 통찰(insight)이지 숫자가 아니다."라고 말했는데, 요즘의 머신러닝 연구자들이 많이 사용하는 주피터 노트북*58의 전신이 되는 IPython노트북을 만든 페르난도 페레즈(Fernando Perez)도 '문학적 컴퓨팅'에 관한 글*59에서 이 말을 인용했다. 앞으로 이런 인간의 통찰을 돕는 글쓰기(코드) 창작 도구들이 기본적으로 가지고 있을 요소에 머신러닝이 들어가는 것은 분명한 흐름이다.
어도비 센세이와 머신러닝 시대의 창작 도구를 다시 생각해보자는 맥락에서 이런 1940-1960년대 아이디어들의 흔적을 살펴볼 수 있는 것은 사실 매우 당연하다. 어도비는 제록스 PARC연구소에서 POSTSCRIPT*60를 연구하던 두 연구원이 창립했다.어도비 일러스트레이터의 역사*61를 보면 창립자 중 한 명인 존 워녹(John Warnock)에 관한 이야기가 나오는데 그의 아내인 마바 워녹(Marva Warnock)은 그래픽 디자이너였고 존 워녹이 프로그래밍 리터러시를 가지고 있어야만 사용할 수 있었던 POSTSCRIPT에 GUI를 붙여 기술의 문턱을 낮춘 일러스트레이터를 만들었던 배경에는 아내와 스승의 영향이 있었을 것이라 추측할수 있다. 존 워녹의 스승은 아이반 서덜랜드(Ivan Sutherland)인데 그가 바로 1960년대 초에 '스케치 패드: 인간-기계 간의 그래픽커뮤니케이션 시스템'*62만든 사람이다.
[ 그림 8 ] TX-2에서 구동되는 스케치패드1963년에 발표된 그의 논문에는 다음과 같은 구절이 나온다.
스케치패드는 공학적인 도식을 그리는데만 사용될 필요가 없습니다. 도식에 움직임을 추가할 수 있는 기능을 활용해서 만화를 만들어본다면 무척 흥미로울 것입니다.
[ 그림 9 ] 스케치패드 논문 133페이지에 있는 예술적인 그림 도식*63아이반 서덜랜드의 스승은 정보 이론의 선구자인 클로드 섀넌(Claude Shannon)이다. 어도비 센세이의 시연에서 볼 수 있듯이 결국 창작 또한 정보를 다루는 작업의 맥락에서 이해할 수있다. 이런 역사에 관해서는 '전쟁, 기술, 창작-인간과 컴퓨터의 공생에 관한 역사 속의 씨줄과 날줄*64'과 '창작자를 위한 머신러닝에 관한 안내, 교육에 관한 함의*65'로 조금 더 자세히 적어두었다.
구글의 시니어 과학자인 피터 노빅(Peter Norvig)이 뉴욕의 Lisp*66 커뮤니티*67에서 발표한 '우리가 생각하는 대로'를 오마쥬한'우리가 프로그램하는 대로'*68에서도 머신러닝에 의해 변화할 인간의 생각을 돕는 도구에 관한 내용들이 많이 있다. 2016년에 구글의 문서 도구 오른쪽 하단에는 탐색(explore) 버튼이 생겼는데, 피터 노빅은 2017년 4월 발표에서 자연어로 데이터를 다룰 수 있는 것에 관한 이야기를 했고, 머지 않은 6월에 구글은 머신러닝으로 구글 스프레드시트 안의 데이터를 바로 시각화 하기*69를 구글의 제품으로 발표하면서 스프레드시트의 데이터를 자연어로 다룰 수 있도록 했다. 탐색 버튼과 어도비 센세이의 버튼이 참 닮았다는 생각이 든다.
컴퓨터 프로그래밍의 여명기에 폰 노이만이 자신의 제자인 프린스턴 대학 학생들이 기계어로 바로 프로그래밍 언어를 작성하는 것이 아니라 어셈블러(assembler)*70를 만들고 있는 것을 보며 소중한 컴퓨터를 그런 사소한 일에 쓴다며 화를 냈다는 일화*71는 유명하다.그런데 시대는 바야흐로 인간이 기계 쪽으로 다가가서 소통하는 시대가 아니라 기계가 인간 쪽으로 다가와서 소통할 수 있는 시대로 넘어가고 있다. 피터 노빅은 발표에서 필요(need)와 바람(want)의 차이와, 정말로 필요하거나 원하는 것을 아는 것은 쉬운 일이 아니라고 이야기하며 아래의 AI 기본 공식을 소개했다. "취해야 할 최선의 행동은 현재 상태에서 행한 행동들 중 우리가 추구하고자 하는 가치의 기대를 최고로 충족하는 확률을 가진 행동을 찾아서 얻을 수 있다." 이 공식이야 어쨌든, 추구하고자 하는 것을 얻기 위해 구체적으로 어떻게(how) 코드를 구현할 지 고민하는데 에너지를 많이 썼던 시절에서, 무엇(what)을 추구할 지 잘 생각하는 것이 더 중요해지는 시절로 넘어가는 중인 것은 분명한 것 같다.
[ 그림 10 ] 피터 노빅의 AI 기본 공식어떻게 코드를 구현 할지에 관한 혁신은 계속해서 진행 중이다. d3.js*72를 만든 마이크 보스톡(Mike Bostock, @mbostock)도 더 좋은 코드를 작성하는 방법(A better way to write code)*73에서 "시각화의 목적은 통찰이지 그림이 아니다"를 인용하면서 발표를 시작했다. 이 말은 리처드 해밍의 말을 벤 슈나이더만(Ben Shneiderman)이 각색한 것이다. 발표에서 마이크 보스톡은 브렛 빅터(Bret Victor, @worrydream )의 아이디어를 여러 번 인용하면서 주피터 노트북이 아직 다루지 않는 개념을 가진, 관찰가능한 노트북(observable notebooks)*74을 소개한다. 이 도구는 코드를 저작하는 동안 끊김없이 시각적인 피드백을 주어 코드를 저작하는 사람의 통찰을 돕는다. 이 도구는 구글의 PAIR(People+AIResearch Initiative)*75에서 만든 웹에서 바로 뉴럴 네트워크를 다룰 수 있게 해주는 deeplearn.js의 상호작용 놀이터*76에 탑재될 예정이다. 뉴럴 네트워크는 이제 코드의 한 단락(cell)으로 들어갈 수 있고, 하나의 블럭처럼 사용할 수 있다. 최근 안드레이 카파시(Andrej Karpathy, @karpathy)가 소프트웨어 2.0이란 글*77을 공개했는데, 뉴럴 네트워크가 소프트웨어를 작성하는데 있어 근간이 되는 또 다른 스택이 될 것이라는 이야기를 했다. 무엇인가 딱 맞아 떨어지는 느낌이다.
익숙한 것을 새롭게 보기
1940-1960년 대의 아이디어는 어떻게 보면 첨단의 분야에서는 케케묵은 오래된 생각일 수 있다. 그러나 뉴럴 네트워크 또한 비슷할 정도로 오래된 생각인 점을 기억하면 이런 예전의 아이디어들을 다시 되새김질하며 새롭게 조명하는 가운데 얻을 수 있는 힌트들도 있지 않을까 싶다. 예전에는 실현하기 어려운 개념이었지만 지금이라면 가능한 것들, 더 확장해서 해낼 수 있는 것들이 있을지도 모른다. 그 시기에 중요한 아이디어들이 나온 이유 중 하나는 아직 컴퓨터가 어떤 것인지 무엇을 할 수 있는지가 명확하게 정의되어 있지 않았기 때문에 선입견 없이 모든 가능성을 열어놓고 다양한 방향에서 탐구하고 실험했기 때문이다.
신경정보처리시스템학회(neural information processing systems, NIPS) 같은 학회에서 선구자들의 오래된 아이디어를 언급하며 지적인 크레딧의 영토 분쟁 시비*78를 거는 연구자로 LSTM(long short-term memory)을 고안한 유르겐 슈미트후버(Jurgen Schmidhuber)를 들 수 있다. NIPS2015에서 얀 르쿤과 요수아 벤지오(Yoshua Bengio)의 튜토리얼에 질문을 가장하여 저격을 하는 모습*79이나 NIPS 2016에서 이안 굿펠로우(Ian Goodfellow)의 GAN 튜토리얼에서 또 비슷한 시도*80를 하는 것을 보고 소셜네트워크 서비스 타임라인에선 슈미트후버드(Schmidhubered)라는 표현을 써가며 곱지 않은 시선을 보냈다. 그의 태도에는 분명 아쉬움이 있다고 생각하지만 요즘 혁신의 근간이 되었던 역사에 관해서 짚어보는 것은 의미있는 일이라고 생각한다. 늘 앞으로만 달려 나가는 것이 아니라 현재의 방향(벡터)이 어디에서 시작된 것인지를 살펴볼 때 배울 수 있는 가치도 있다. 슈미트후버에 관해서 또 한 가지 재미있는 일이 있다.그는 이번 NIPS 2017의 창의성과 디자인을 위한 머신러닝(machine learning for creativity and design)*81워크숍의 키노트를 맡았는데 다른 발표들과 출품된 작업들도 궁금하지만 슈미트 후버가 어떤이야기를 할지도 무척 궁금하다. 브렛 빅터가 '프로그래밍의 미래' 발표*82에서 앨런 케이(Alan Kay)에게 받은 탈학습(unlearn)에 관한 조언을 회고한 글이 기억이 난다.
지식에 관한 트릭 중에 하나는 "지식을 획득한 후 그 향기를 빼고는 다 잊어버리는 것"입니다. 왜냐하면 지식은 소음같기도 해서 자기 "두뇌의 목소리"를 잦아들게 만들기 때문입니다. 향기 부분이 중요한 것은 향기는 그 지식을 다시 찾을 수 있도록 돕기 때문입니다. 내적인 열망이 선택한 도착지를 찾아 갈 수 있도록 돕기 때문입니다.
아카이브(arXiv)*83에 읽어야만 할 것 같은 머신러닝 관련 논문이 범람하는 요즘 지식(정보)에 휘둘리지 않고 가고자 하는 길을 잘 항해하는 것은 무척이나 중요하게 느껴진다.사이버네틱스의 어원에 방향을 조종하는 '키잡이'를 의미하는 퀴베르네테스(kyvernitis)가 있는데, 노버트 위너 또한 1954년에 출판한 '인간의 인간적 활용, 사이버네틱스와 사회'에서 노하우(know-how)보다는 노왓(know-what)을 중요하게 여겼다. 어떻게 할 것인가 보다는 추구하고자 하는 것이 무엇인지 아는 것, 또는 어디로 갈 것인가 그 방향을 설정하는 것의 중요성에 관해 생각해 보게된다.
현대의 인간, 특히 현대의 미국인들은 많은 '노하우'를 갖고 있을지 몰라도 '노왓'을 갖고 있는 경우는 거의 없다. 그들은 기계를 움직이는 동기나 윈칙 등은 제대로 살펴보지도 않은 채, 기계가 정해 주는 결정의 뛰어난 기술력만 받아들일 것이다. 그렇게 함으로써 조만간 자기 스스로를 제이콥스의 '원숭이 발'에 나오는 아버지의 처지로 만들 것이다. (중략) 아니면 '천일야화'에 나오는 아랍의 어부처럼 성난 지니가 들어 있는 병뚜껑의 솔로몬 봉인을 열었을 때와 같은 일이 벌어질 수도 있다.
안드레이 카파시의 소프트웨어 2.0을 바탕으로 생각해 볼 때 뉴럴 네트워크가 창작자들도 활용할 기본적인 스택이 될 것은 자명하다고 생각한다. 자바를 기반으로 하는 DSL(domain specific language)*84인 프로세싱이 자바보다 훨씬 간결한 문법을 가지며 예술가나 디자이너가 프로그래밍을활용해 창작을 시작하는 경험에 도움이 되는 것 처럼, 텐서플로우(Tensorflow)보다 파이토치(PyTorch)가 더 쉽게 접근할 수 있는 것처럼, 뉴럴 네트워크의 모델을 만든는 것이 코드가 아니라 스크래치(Scratch)같은 블록 기반의 시각적인 언어를 쓰는 VPL(visual programming language)*85로 접근하는 것이 가능해진 것처럼, 관찰 가능한 노트북으로 코드의 상태를 암중모색 하지 않아도 되는 것처럼, 어도비 센세이 같이 다른 층위의 추상화 수준이 높은 도구가 나타나는 것처럼 어떻게 그것을 할 것인지(know how)에 관한 문턱은 계속 낮아질 것이다. 세계 최고의 두뇌들이 기술의 문턱을 낮추고 시장을 교란하는 일에 자본을 투자하며 앞장서고 있다(기술의 문턱을 낮출수록 기반이 되는 낮은 수준의 기술이 가지는 권력은 높아진다). 다만 무엇(know-what)을 할 것인지에 관한 가치는 그 가치를 교란하고자 하는 다양한 시도들에도 덜 흔들리지 않을까 예상해 본다.
어떻게(know-how) 할 지에만 천착하면 니콜라스 카(Nicholas Carr)가 유리감옥*86에서 언급한 것 처럼 자동화와 기계에 의해 도움을 받는 창작이 오히려 우리 생각의 감옥으로 작동할 가능성도 있다. 뭔가 이전에 없던 창작을 하려고 했는데 기계가 학습하는 데이터가 핀터레스트(Pinterest)*87와 비핸스(Behance)*88 등에서 학습할 수 있는 유행을 따르는 편향된 스타일 뿐이라면 어떻게 되겠는가? 그러므로 다양한 창작의 배경이 되는 생각과 역사 속의 도전과 고민의 기록들에서 향기를 취하고 세부사항은 잊어버린 후 다시 향기를 따라 우리의 신경망을 재연결(rewiring)하는 시도가 창작자들의 방향을 설정하는데 도움이 될 거란 가설을 세워보게 된다.
마지막으로 이 글을 쓰는데 도움이 됐지만, 각주에는 달지 못했던 책들을 적어둔다.
・ 멀티미디어 - 바그너에서 가상현실까지, 랜덜 패커, 켄 조던 지음
・ 소프트웨어가 명령한다, 레프 마노비치 지음
・ CODE, 찰스 펫졸드 지음・ 드리밍 인 코드, 스콧 로젠버그 지음
・ 그래픽 디자인의 역사, 필립 B 멕스 지음・ Moving Innovation, Tom Sito 지음
각 권이 일부 지면을 할애해서 이 글에서 소개한 역사들을 다루고있다. 그런데 이 글에서 예찬하다시피 한 혁신적인 아이디어가 나왔던 1960년대가 흑인 여성 컴퓨터( ※ 필자 주 : 이 시기의 컴퓨터는 사람이 맡았던 계산하는 '직업'이었고, 이 당시의 NASA에도 컴퓨터로 고용된 여성들이 있었다)의 이야기를 다룬 영화 히든 피겨즈(Hidden Figures)*89의 배경이 되는 시대라는 지점에서 온도 차이가 느껴지기도 한다. 이 시기의 백인 남성 위주의 선구자들 중 훗날에라도 페미니즘 등의 다양성을 강조*90하며 인간의 능력에 관한 가부장제적인 선입견을 중화하려는 시도를 한 사람은 내가 아는 한 시모어 페퍼트(Seymour Papert)*91밖에 없다. 그는 마빈 민스키(Marvin Minsky)와 함께 퍼셉트론즈(Perceptrons)*92를 출판해서 AI의 겨울*93이 오는데 일부 기여를 하기도 했으며, 얀 르쿤도 자신의 페이스북 계정을 통해 학창시절 시모어 페퍼트에게 받았던 영향 때문에 후에 뉴럴 네트워크를 공부하는 계기가 되었다*94는 이야기를 했었다.
한편, 2016년 스탠포드의 페이페이 리(Fei-Fei-Li) 교수가 진행했던 'CNN에 대한 소개 및 역사적 맥락' 강연*95에서는 시모어 페퍼트가 1966년에 여름 비젼 프로젝트(The summer vision project)*96를 제안한 인물로만 등장한다. 시모어 페퍼트가 진정으로 하고 싶었던 것*97에 관해 알고 있건 모르건 간에, 페이페이 리는 현재 AI4ALL*98 등을 통해서 AI 기술의 민주화*99에 관한 노력을하고 있는 중이다. 시모어 페퍼트가 요즘 소프트웨어 교육에서 화두가 되기도 하는 계산적 사고(computational thinking)라는 용어를 고안하며, 이를 중요하게 생각한 이유의 근원에는 전 세계의 어린이들이 비판적인 사고를 할 수 있는 시민으로서 자립하길 바라는 액티비스트(activist)적 관점이 자리잡고 있다. 반면 우리의 소프트웨어 교육은 아직 비판적 사고를 겸양 할수 있도록 돕는 교육보다는 알고리듬 교육 또는 만들기 교육 쪽에 무게를 두고 있다. 이제는 제법 익숙해진 계산적 사고라는 개념에 대해 새롭게 볼 수 있으면 좋겠다는 바람을 가지는 한편, 액티비스트였던 애런 슈워츠(Aaron Swartz)의 죽음을 떠올리며 고민하게 된다. 비판적인 생각을 하며 행동하는 젊은이가 살아가기에 우리 사회는과연 어떨까. 현대 예술 또한 액티비즘(Activism)과 많은 관련이 있다. 예술이 다루는 심미의 지평이 다채롭게 넓어진 지는이미 오래고 뉴럴 네트워크가 이를 더욱 다채롭고, 넓고, 깊게 할것 임에 틀림없다.
글 | 최승준 erucipe@gmail.com
미디어아티스트로 활동했고 대학에서 인터랙션 디자인을 가르치다가 최근에는 유치원을 운영하며 구성주의 교육에 머신러닝을 접목하는 시도를 하고 있습니다. 인간에게서 배우는 기계의 학습과 기계의 학습에서 배우는 인간의 학습에 관심이 많습니다.
참고문헌
*1 참고 | https://www.facebook.com/yann.lecun/posts/10154498539442143
*2 참고 | https://www.facebook.com/seungjoon.choi/posts/10212300525203813
*3 참고 | Godel, Escher, Bach: an eternalgolden braid, https://en.wikipedia.org/wiki/Godel,_Escher,_Bach, 1979년
*4 참고 | 편견에 관해서는 구글의기계학습과 인간의 편견(Machine Learning and Human Bias) https://www.youtube.com/watch?v=59bMh59JQDo 영상과 캐시 오닐의 '대량 살상 수학무기: 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가' 등의 콘텐츠를 추천한다
*5 참고 | https://en.wikipedia.org/wiki/Manifold
*6 참고 | 다른 방식으로 보기 (Ways of seeing), John Berger, https://en.wikipedia.org/wiki/Ways_of_Seeing
*7 참고 |Ben F. Laposky https://en.wikipedia.org/wiki/Ben_F._Laposky 벤 라포스키에 관해서는 '기계가 예술을 만들었을 때'(When the Machine Made Art)란 책에 잘 나와있다.
*8 참고 | 만프레드 모어에 관해서는 '앨리스 온'이2013년에 인터뷰한 내용( http://aliceon.tistory.com/2227 )이 좋고, 그의 작업을 비롯한 코드를 활용한 초기의창작 작업은 ReCode 프로젝트( http://recodeproject.com )에서 보다 현대적인 프로그래밍 언어로 복원한 것을 살펴볼 수 있다. *9 참고 | 자바 기반의 프로그래밍 언어로, 예술가들이 작품을 만들 때 사용하곤 한다.(https://processing.org) *10 참고 | History of the Future, Art & Technology from 1965 - Yesterday | Casey Reas | The Gray Area Festival https://www.youtube.com/watch?v=mHox98NFU3o
*11 참고 | https://www.aec.at/ai, 이번 아르스 일렉트로니카에 출품된 더 많은 AI 관련 작업들은 https://www.aec.at/ai/en/media-art-between-natural-and-artificial-intelligence 에서 살펴볼 수 있다.
*12 참고 | http://www.miketyka.com, 마이크 타이카는 자신의 고해상도 GAN에 관한 작업 방식을 Superresolution with semanticguide ( https://mtyka.github.io/machine/learning/2017/08/09/highres-gan-faces-followup.html )라는 글로 정리해 두었다.
*13 참고 | https://www.aec.at/ai/en/portraits-of-imaginary-people
*14 참고 | https://burningman.org
*15 참고 | https://research.googleblog.com/2015/06/inceptionism-going-deeper-intoneural.html
*16 참고 | https://distill.pub/2017/feature-visualization
*17 참고 | https://www.wired.com/2015/12/inside-deep-dreams-how-google-made-its-computers-go-crazy
*18 참고 | http://quasimondo.com
*19 참고 | https://www.aec.at/ai/en/x-degrees-of-separation, 케빈 베이컨의 6단계https://en.wikipedia.org/wiki/Six_Degrees_of_Kevin_Bacon 에서 차용
*20 참고 | https://experiments.withgoogle.com/arts-culture/x-degrees-of-separation
*21 참고 | https://www.wired.com/story/neurographer-puts-the-art-in-artificial-intelligence
*22 참고 | https://www.aec.at/ai/en/imagetransformations
*23 참고 | Gene Kogan at Eyeo 2017, Starving Computer Scientist, https://vimeo.com/232544884
*25 참고 | http://otoro.net
*26 참고 | https://magenta.tensorflow.org/sketch-rnn-demo
*27 참고 | https://ami.withgoogle.com
*29참고 | https://www.youtube.com/watch?v=pFwW-BJQhpc
*30 참고 | https://medium.com/artists-andmachine-intelligence/what-is-ami-ccd936394a83
*31 참고 | https://en.wikipedia.org/wiki/The_Work_of_Art_in_the_Age_of_Mechanical_Reproduction
*32 참고 | https://en.wikipedia.org/wiki/Vil%C3%A9m_Flusser
*33 참고 | https://en.wikipedia.org/wiki/David_Hockney
*34 참고 | Understanding media: Theextensions of man, https://en.wikipedia.org/wiki/Understanding_Media
*35 참고 | https://ko.wikipedia.org/wiki/사이버네틱스
*36 참고 | The human use of human beings, https://en.wikipedia.org/wiki/The_Human_Use_of_Human_Beings, https://archive.org/details/NorbertWienerHumanUseOfHumanBeings에 전문이 공개되어 있다.
*37 참고 | https://en.wikipedia.org/wiki/Seadragon_Software
*38 참고 | AlphaGoZero: Learning from scratch, https://deepmind.com/blog/alphago-zero-learning-scratch
*39 참고 |Accelerating Your Creativity - Adobe MAX 2017 - Day 1 Keynote 2시간 6분 부터 https://www.youtube.com/watch?v=4j_pd1awSac&t=7599
*40 참고 | http://www.adobe.com/sensei.html
*41 참고 | https://www.facebook.com/seungjoon.choi/posts/10213452482162017
*42 참고 | Rethinking Design Tools inthe Age of Machine Learning, https://medium.com/artists-and-machine-intelligence/rethinking-designtools-in-the-age-of-machine-learning-369f3f07ab6c
*43 참고 | https://twitter.com/patrickhebron/status/920708009331974144
*44 참고 | http://www.creativeai.net
*45 참고 | Assisted Writing, https://medium.com/@samim/assisted-writing-7adea9aed19 *46 참고 | https://en.wikipedia.org/wiki/The_Mother_of_All_Demos
*47 참고 | https://en.wikipedia.org/wiki/NLS_(computer_system)
*48 참고 |AUGMENTING HUMAN INTELLECT, https://www.dougengelbart.org/pubs/augment-3906.html
*49 참고| https://en.wikipedia.org/wiki/Intelligence_amplification
*50 참고 | MIT에서 만든 바니바 부시에 관한 짧은영상, https://www.youtube.com/watch?v=fIsPFWSYf3c
*51 참고 | https://www.theatlantic.com/magazine/archive/1945/07/as-we-may-think/303881
*52 참고 | 아트센터나비 학예팀의 번역
*53 참고 |https://en.wikipedia.org/wiki/Memex
*54 참고 | https://en.wikipedia.org/wiki/History_of_hypertext
*55참고 | https://groups.csail.mit.edu/medg/people/psz/Licklider.html
*57 참고 | https://en.wikipedia.org/wiki/Richard_Hamming
*58 참고 | http://jupyter.org
*59 참고 | "Literate computing" andcomputational reproducibility: IPython in the age of data-driven journalism, http://blog.fperez.org/2013/04/literate-computing-and-computational.html
*60 참고 | https://en.wikipedia.org/wiki/PostScript
*61 참고 | The Story Behind Adobe Illustrator, https://www.youtube.com/watch?v=1gaCKT_Ncdk
*62 참고 | Sketchpad: A man-machine graphical communication system, https://www.cl.cam.ac.uk/techreports/UCAM-CL-TR-574.pdf
*63 참고 | http://worrydream.com/refs/Sutherland-Sketchpad.pdf
*64 참고 | https://goo.gl/cpNJ11
*65 참고 | https://goo.gl/630MPL
*66 참고 | https://en.wikipedia.org/wiki/Lisp_(programming_language)
*67 참고 | http://lispnyc.org
*68 참고 | Peter Norvig on "As We MayProgram", https://vimeo.com/215418110
*69 참고 | Visualize data instantly with machine learning inGoogle Sheets, https://www.blog.google/products/g-suite/visualize-data-instantly-machine-learninggoogle-sheets
*70 참고 | https://en.wikipedia.org/wiki/Assembly_language
*71 참고 | John vonNeumann's reaction to assembly language and Fortran, http://www.columbia.edu/cu/computinghistory/index.html
*72 참고 | https://d3js.org
*73 참고 | A Better Way to Write Code, https://www.youtube.com/watch?v=aT4JvF7sglg *74 참고 | https://observablehq.com
*75 참고 | https://ai.google/pair
*76 참고 |deeplearn.js interactive playground, https://deeplearnjs.org/demos/playground/examples.html
*77 참고 |Software 2.0, https://medium.com/@karpathy/software-2-0-a64152b37c35
*78 참고 | Critique of Paperby "Deep Learning Conspiracy", https://plus.google.com/100849856540000067209/posts/9BDtGwCDL7D
*79 참고 | https://www.youtube.com/watch?v=74VUX2zszms&t=7168
*80 참고 |https://channel9.msdn.com/Events/Neural-Information-Processing-Systems-Conference/Neural-Information-Processing-Systems-Conference-NIPS-2016/Generative-Adversarial-Networks 의 1시간 3분즈음 부터
*81 참고 | Machine Learning for Creativity and Design, https://nips2017creativity.github.io *82참고 | The Future of Programming, http://worrydream.com/dbx
*83 참고 | https://arxiv.org
*84 참고 |https://en.wikipedia.org/wiki/Domain-specific_language
*85 참고 | https://en.wikipedia.org/wiki/Visual_programming_language, 뉴럴 네트워크 콘솔 https://dl.sony.com 과 모델 빌더 https://deeplearnjs.org/demos/model-builder 등의 예시가 있다. *86 참고 | 유리 감옥 - 생각을 통제하는 거대한 힘, 니콜라스 카지음, 한국경제신문 출판
*87 참고 | https://www.pinterest.com
*88 참고 | https://www.behance.net
*89참고 | https://en.wikipedia.org/wiki/Hidden_Figures
*90 참고 | Epistemological Pluralism and theRevaluation of the Concrete, http://www.papert.org/articles/EpistemologicalPluralism.html
*91 참고 | 생각을 생각하는 법을 생각하게 한 거인, http://www.hankookilbo.com/v/f81d49a25f2545589e80d7a960d22378
*92 참고 | https://en.wikipedia.org/wiki/Perceptrons_(book)
*93 참고 | https://en.wikipedia.org/wiki/AI_winter
*94 참고 | https://www.facebook.com/yann.lecun/posts/10153713733897143
*95 참고 | https://www.youtube.com/watch?v=NfnWJUyUJYU&t=1837
*96 참고 | https://dspace.mit.edu/handle/1721.1/6125
*97 참고 | Thinking about Thinking about Seymour, https://www.media.mit.edu/events/papert
*98 참고 | http://ai-4-all.org *99 참고 | 페이페이 리의 모두를 위한 AI, https://brunch.co.kr/@kakao-it/70
*썸네일 출처 : 'X와 Y를 그림자로 가지는 입체', 최승준
카카오에서 인공지능 우수 인재들을 위해 준비한 프로그램을 소개하며 글을 마칩니다.
