Multimodal Human & Creative AI
거대모델 AI와 멀티모달 휴먼
맥락속에 빠져버린 GPT-3
거대언어모델 GPT-3가 쓴 책들이 아마존에서 판매되고 있습니다.
실제 GPT-3로 글을 만들어 보면, 가끔 번뜩이는 순간이 있기는 하지만, 스토리를 발전시키고 디테일을 더하면서 스토리를 완성시키기에는 많은 작업이 필요해 보입니다. 특히 나름 '창의성'을 발휘하기도 하지만, 세부적인 특정한 작업으로 결과를 이끌려면 맥락을 구체화 하는 프롬프트를 넣어줘야 하는데, 프롬프트가 잘 작동하면 GPT-3가 그 맥락에 완전히 묶여서 아이디어 확산을 못하는 경우가 많습니다. 프롬프트에 넣어준 맥락안에서 맴도는 거죠. 그래서 긴 호흡보다는 좀 짧은 플롯 같은 글 작업을 테스트 해야겠다는 생각을 하고 있었습니다. 그러던 어느날...
철로 위의 풍경
지난 몇일간 그리 멀지 않은 도시로 출장을 다니며 새벽 지하철과 저녁 기차로 이동을 했습니다. 철로. 역. 기차는 뭔가 알 수 없는 낭만이 있습니다. 문득 새벽 지하철의 빈 공간에서 출근길 인파로 하나 둘 공간이 채워지는 상상을 해봤습니다. 그리고 MidJourney와 스케치를 시작했습니다.
화사한 파스텔톤으로 그린 그림의 느낌이 좋았습니다. 월요일 출근길 보다는 금요일 퇴근길의 기분이 담긴 이미지 들이겠지 싶습니다. (저는 개인적으로 일을 시작하는 월요일 아침이 좋습니다 ^^)
지하철 풍경을 보고 나니 이 지하철이 지나고 도착하게될 어울리는 역을 상상하게 되었습니다.
다시 MidJourney와 스케치를 계속 이어가며 그렇게 어딘가의 풍경들을 떠올려 봅니다.
어딘가의 풍경
기차가 정차하는 이 역들은 어디에 있을까요?
붐비는 도시는 아닌 것은 확실합니다.
무언가 차분하지만, 비어있지 않을,
무엇인가 차분히 채워져 있을 것 같은 마을을 상상하게 됩니다.
문득, 기차가 정차할 이 역들과 역이 있는 마을.
그곳의 사람들과 이야기를 생각하기 시작합니다.
제가 요즘 발견한 프롬프트 조합에 사용하는 아티스트 중 한명의 작품은 전통 일본 풍경이라서 인지, 작품에 일본풍이 묻어 있습니다. 물론 전형적인 스타일의 반영이기는 하지만, 이런 부분은 MidJourney가 참 자연스럽게 잘 조화시켜서 이미지를 만들어 냅니다. 거대 모델의 학습에 일본풍에 대한 학습이 많았던 것 같습니다.
보이지 않는 도시들
한참을 MidJourney와 함께 끄적이며 이야기를 즐기던 생각의 흐름이 이탈리 칼비노의 '보이지 않는 도시들'에 이르렀습니다. '보이지 않는 도시들 (Invisible Cities)'는 칼비노의 대표작 중 하나로 마르코폴로와 쿠빌라이 칸의 대화를 통해 도시에 대한 이야기들을 감각적이고 아름답게 담고 있는 산문이지만, 시처럼 느껴지는 작품입니다.
MidJourney가 그린 이탈리 칼비노 '보이지 않는 도시' (우측)MidJourney에게 이탈리 칼비노의 '보이지 않는 도시'를 그려보라 했더니 이렇게 멋진 책위에 그림을 그렸습니다. 아마도 이탈리 칼비노를 알고 있었던 것 같아요. 물론, 프롬프트에는 요즘 발견한 스타일 조합을 추가해서 그리게 했습니다.
다시, GPT-3를 펼치고
이제 MidJourney와 함께 작업할 마음에 드는 스타일과 풀어가고 싶은 이야기 구조가 떠오르니 이제 필요한 것은 그림과 함께 할 이야기 글입니다. 다시 GPT-3를 펼치고 글을 써 보기로 했습니다. 맥락의 노예 GPT-3가 글을 잘 쓰도록 세세한 맥락을 만든다면 결국 제가 쓰는 것 같은 느낌이라 다른 무엇이 필요했습니다.
퇴근길 기차 안, 폰에 툭툭 프롬프트를 넣어봅니다. 먼저 마르코폴로를 소재로 이야기를 풀어나가려고 했는데, 영~ 원하는 느낌은 나오지 않았습니다. 다시, 이탈리 칼비노 '보이지않는 도시들'의 영감을 가져오기로 했습니다. 특별한 상상의 도시의 이름을 만들어 보기로 했습니다. 첫번째 도시는 '거울의 도시' 였고, 거울의 도시에 있는 역의 이름을 물었습니다. 반사의 역, 이해의 역, 변화의 역 등 거울과 연관된 단어의 역 이름을 만들기 시작합니다. 조금씩 흥미로와 지기 시작합니다.
혹시나 하는 생각에 직접적으로 거울의 도시의 이야기를 만들어 보라고 했더니, 어라~ 이건 꽤 흥미로운 이야기를 술술 채워 나가기 시작합니다. 몇번 반복 시도를 하니 완전하지는 않지만, 흥미로운 이야기꺼리들을 쓰기 시작합니다. GPT-3와 작업하는 방법 하나를 찾은 것 같습니다.
맥락과 화두
GPT-3가 원하는 방향의 글을 생성하기 위해서 맥락을 잡고 학습 시키는 과정을 프롬프트로 하게 됩니다. 맥락 설정을 통해서 특정한 성향이나 성격의 캐랙터등도 무난히 만들 수 있습니다. 그러나, 스토리 전체를 한번에 만들라고 할 수는 없기 때문에 GPT-3는 자동으로 스스로 작업하는 Creative AI라기 보다는 글을 만드는 창작자가 계속 디테일을 조정하면서 작업하는 Digital Tool에 가깝다고 생각됩니다. 어떤 면에서는 직접 글을 쓰는 것보다 번잡스러운 글 쓰는 과정이기도 합니다.
그런데, <ㅇㅇ의 도시> 같은 해석의 여지가 있는 단어를 던지고 이야기를 만들라고 하면, GPT-3가 자신의 (거대모델로 학습된) 상상력을 발휘하여 이야기를 흥미롭게 채워나갑니다. 마치 선문답의 화두를 던지는 느낌으로 프롬프트에 사용할 단어의 조합을 만드는 것이죠.
물론, GPT-3의 결과는 복불복. 잘 쓰다가 유치하고 진부한 결과를 만드는 경우도 많기 때문에 체리픽킹 - 필터링이 필요한 것은 여전합니다. 그럼에도 지금 시점에서 이런 시적 접근 방법은 제 취향과 지금 하려는 작업에는 잘 맞는 다는 느낌입니다.
출퇴근 지하철과 기차의 풍경이 Creative AI와 상상의 풍경 스케치로 이어지고, 그 이미지가 이탈리 칼비노의 책으로 연결되고, '보이지 않는 도시들'의 영감이 GPT-3와의 다른 방식의 집필로 이어졌습니다.
그 결과물은 'Invisible Cities (보이지 않는 도시들)'에서 영감을 받은 'In Visible Cities (보이는 도시들)' 작업을 하나씩 실험해 보고 있습니다.
이미지는 추상과 주관의 영역이 넓어 몇번의 스케치를 통해 만족스러운 느낌을 만들기가 비교적 수월하지만, 문자로 표현되는 글은 구체적이고 객관적인 그 형식으로 인해 만족스러운 글을 완성하는 것이 쉽지 않습니다. 특히, 영문으로는 괜찮은 표현들이 번역하면서 뉘앙스를 살리기에 어려운 부분이 많습니다.
그림이 완성적 작업 과정이라면 글은 여러 글의 조각들을 다시 조합하고 제 목소리로 다시 다듬어서 완성하는 단계적 과정이 필요합니다.
However, 'In Visible Cities'의 기본 글 작업 과정은 MidJourney의 이미지 생성과 비슷한 느낌으로 작업을 합니다. GPT-3가 해석해서 Creative하게 채울수 있는 영역이 넓은 프롬프트를 던지고, 돌아오는 결과를 기다리는 주고 받는 놀이 같은 과정이죠. 하지만, GPT-3는 여전히 일이지말입니다. 그럼에도 조금 다른 놀이 방법을 찾았습니다.
계속 되는 시작의 시작
Creative AI의 작업 과정은 새로운 발견과 한계의 연속이고 그것은 계속 되는 조금씩 다른 또 다른 시작을 반복적으로 시작하게 합니다. Creative AI는 이제 시작이고, 매일 새로운 대화와 소식이 따라가기 힘들 정도록 차고 넘칩니다. 가끔은 무엇인가를 마스터 하고 싶기도 하지만, 끝없이 변하는 파도위에서 균형을 잡으며 파도를 타는 서핑같은 매일의 시작도 즐겁습니다.
