웹툰, 망가, 그리고 AI
내가 주인공이 되는 웹툰, 작가를 도와주고, 캐릭터를 그려주는 AI
#12
인공지능이 활용되는 분야별로 대표성을 띈 사례들을 한가지 씩 정리해보려 한다.
이번 글에서는 인공지능이 웹툰, 그리고 망가와 같은 콘텐츠 사업들을 어떻게 발전시켜 나가고 있는지에 대해 국내 웹툰, 채색을 돕고 스토리를 쓰고 캐릭터를 그리는 다양한 사례들을 통해 정리해보도록 하겠다.
내가 만화의 주인공이 될 수 있는 웹툰
하일권 작가의 '마주쳤다'
웹툰 서비스들 중에 국내에서 가장 많은 사용자가 이용하고 있는 네이버웹툰에 인공지능이 활용된 사례부터 이야기로 시작해보고자 한다. 내가 좋아하는 작가이기도한 '하일권'작가의 '마주쳤다'라는 웹툰에 지난 번 미술, 그리고 AI라는 글에서 소개했었던 GAN이라는 기술이 마찬가지로 적용되었는데, 관련해서는 네이버랩스의 블로그에 잘 설명이 되어있기도 하다.
간단하게 다시 소개하자면 GAN이란 위조지폐범(Generator)과 이를 식별해내는 경찰관(Discriminator)사이의 검증을 통해 특정 이미지와 가장 유사한 위조품을 만들어가는 알고리즘이다.
'마주쳤다'라는 웹툰을 보신 분들은 아시겠지만.
웹툰을 시작하는 시점에 스마트폰의 Front Camera를 활성화시켜 내 얼굴을 찍게끔 한다. 그리고 인공지능이 GAN이라는 인공지능 알고리즘을 통해 내 얼굴과 가장 유사한 이미지를 선택, 이후 웹툰 컷에는 내 얼굴이 해당 등장인물에 적용되어서 스토리가 전개되어진다.
해당 웹툰은 여기서 확인이 가능하다. (주인공이 남자이다 보니.. 여성분이 셀카를 찍더라도 남자로 변신한다는 건 또 다른 재미?!)
다시금 확인해보니 얼굴인식 기능은 현재 제공되고 있지 않고 있다. 아쉽..
또한 이 기술은 Manga Me라는 Product Hunter에서 2017년도에 펀딩을 받았던 서비스를 응용해서 콘텐츠화 한 것으로 보여지기도 한다.
작가의 채색작업을 도울 수 있는
Paints Chainer
이 외에도 웹툰 작가의 작업을 도울 수 있는 펜선을 따거나 색칠을 자동으로 해주는 등 다양한 측면에서 인공지능은 작가들을 돕고 있기도 하다. 2~3년 전에 처음 본 서비스이기도 한데, Pixiv Sketch에서 만든 Paints Chainer라는 서비스가 있다. 그 당시 채색을 좀 더 잘 해주는 서비스인가? 어떻게 이렇게 채색을 알아서 해줄 수 있을까? 가 궁금했었는데. 원리 자체는 CNN알고리즘이 적용이 되어 있다.
CNN이란 Convolutional Neural Network의 약자로 '합성곱 신경망'이라고도 한다. 합성곱이라고 함은 Convolutional Layer를 이야기 하는데, 이는 주로 이미지의 특징을 추출하는데 사용되어 지며, 추출된 이미지의 특징은 다층 신경망(Multi-layer Neural Network)를 통해 가장 유사한 대상을 추출해내는 역할을 한다. 쉽게 이야기하면 나와 닮은 연예인 찾기, OCR을 통해 필기체 글씨를 인식한다거나, 자동주행에서 주변 자동차 등을 인식할 때 활용되고 있다.
여기서 소개하고 있는 Pixiv Sketch에서는 CNN을 통해 이미지를 분석하여 특징을 추출하고, 내가 원하는 컬러를 아래의 이미지처럼 조금만 채색해주기만 해도 명확한 색을 찾아내어 해당 영역에 자동채색을 해주고 있다. 하지만 정교한 채색이 생각보다 어려워보여서 얼마나 작가들에게 도움이 될지는 지켜봐야 할 것 같다.
네이버 웹툰의 기술연구를 전담하는 'W리서치팀'에서도 관련 기술을 연구하고 있다고 한다.
Sketch Simplification
Automatic Colorization
Cross-Domain Transfer
위와 같은 연구들을 하고 있다고 하는데 자동채색(Automatic Colorization)에 관한 부분 외에도 다른 영역에서도 작가들을 위한 다양한 기능들을 준비하고 있는 듯 하다.
데츠카 오사무 & 인공지능의 멋진 콜라보
'Tezuka 2020'
일본의 반도체 기업인 KIOXIA의 브랜드 캠페인인 '#Future Memories'의 일환으로 철완소년 아톰, 그리고 밀림의 왕자 레오로 국내에도 잘 알려져 있는 데츠카 오사무의 작품을 인공지능으로 다시금 만나볼 수 있는 재미난 프로젝트를 진행하였다.
프로젝트 명은 'Tezuka 2020'으로 AI를 통해 (이미 고인이 되신) 데츠카 오사무의 이야기, 캐릭터, 그림을 다시금 재현하려는 노력을 하였으며, 이를 통해 ぱいどん이(파이돈)라는 새로운 만화가 탄생하였다.
만화의 스토리는 2030년 도쿄를 배경으로 하고 있으며 부랑자 모습을 하고 있는 파이돈이라는 주인공이 아폴로라는 이름을 가진 로봇새와 함께 다양한 사건들을 경험하는 이야기라고 한다.
이미지 출처: https://tezuka2020.kioxia.com/
이 프로젝트에서는 인공지능을 활용한 3가지 시도가 있었는데 이는 아래와 같다.
Story
Character
Drawing
우선 Story 측면에서는 자체 개발한 ASBS(Automatic Scenario Building System)을 사용하고 있었다. 인공지능은 데츠카 오사무의 130개의 이야기를 학습하였으며 아래서 보이는 것 처럼 13개의 사용가능한 단위로 구분을 하였다고 한다. 이후 주어진 데이터 기반으로 개요를 구성하기 위해 플롯을 구분하고 시나리오를 만들어나갔다고 한다.
이미지 출처: https://tezuka2020.kioxia.com/en-jp/story/
그리고 Character 측면에서도 데츠카 오사무의 캐릭터 300여명의 이미지를 학습하여 여러 얼굴들을 학습하여 새로운 캐릭터들을 그려내었다고 한다.
GAN으로 생성된 얼굴이미지 출처: https://tezuka2020.kioxia.com/en-jp/character/
마지막으로 Drawing에 있어서는 표지그림의 주인공의 얼굴을 로봇팔(Robot Arm)이 그려내었다고 하는데, 이 또한 새로운 시도였다고 생각되어 진다. 물론 다른 글들을 보니 표지 얼굴만을 로봇암이 그려내었고 나머지는 사람이 모두 수작업으로 다듬었다는 이야기가 보이긴 한다..
일단 웹툰, 망가, 만화. 시각적으로 이야기를 풀어나가는 모든 것을 좋아하는 나에게 이러한 시도는 정말 재미나고 또 의미있는 작업으로 보여지기는 한다. 완결성 있는 작품을 위해서는 사람의 힘이 아직 많이 필요해보이긴 하지만 시간이 흐를 수록 인공지능은 정말 흥행공식이라고 할 수 있는 스토리, 캐릭터, 그리고 드로잉들을 만들어낼 것이다. 하지만 여전히 웹툰, 만화 작가들의 창작력을 쫓아가기는 어려울 것이며 위에서의 사례들 처럼 인공지능을 활용한 새로운 시도의 작품을 만들어 보거나, 작가분들의 작업을 돕거나, 새로운 창작을 위한 도움을 받는데 있어서 다양하게 활용될 것이라고 생각된다.
다만 이러한 변화를 얼마나 빠르게 수용하고 활용할 수 있느냐는 독자, 그리고 작가들 마다 다를 것이므로 이 부분이 이 분야의 관전 포인트이지 않을까. :D
Reference
https://www.naverlabs.com/storyDetail/44
https://1boon.kakao.com/bloter/330528
https://petalica-paint.pixiv.dev/index_en.html
https://www.producthunt.com/posts/manga-me
https://tezuka2020.kioxia.com/
http://www.irobotnews.com/news/articleView.html?idxno=19827
https://m.blog.naver.com/no_comm/221826571167
음성 디자인에 대한 다른 글을 보고 싶다면.
https://brunch.co.kr/magazine/voicedesign
일상에서 활용되고 있는 AI의 다양한 사례들이 궁금하다면.
https://brunch.co.kr/magazine/dailyai
twitter: @pentaxzs
email: pentaxzs@daum.net
brunch: https://brunch.co.kr/@monglec
