by
Aug 02. 2021
고흐가 모나리자를 그렸다면? 뉴럴 스타일 트랜스퍼
[야만인] 인공지능 발전의 뒷이야기
내가 찍은 사진을 고흐 Vincent Willem van Gogh 가 그린 작품처럼 만들 수 있다면?
이런 상상을 현실로 만들어 준 사이트가 있습니다.
바로 Deepart.io 입니다.
아래 이미지는 Deepart.io 사이트를 통해서 레오나르도 다 빈치 Leonardo da Vinci 의 작품 <모나리자 Mona Lisa>를 약간 변형한 것입니다.
혹시 빈센트 반 고흐의 유명한 작품인 <별이 빛나는 밤 The Starry Night>이 생각나지 않으세요?
이렇게 <별이 빛나는 밤> 작품 스타일을 <모나리자> 작품의 콘텐츠에 적용시키는 기술을
'뉴럴 스타일 트랜스퍼 Neural Style Transfer'라고 합니다.
다시 말해
원본의 콘텐츠와 스타일을 분리한 후
다른 작품의 콘텐츠에 스타일을 재결합해
새로운 이미지를 만들어내는 기법이죠.
뉴럴 스타일 트랜스퍼는 다음과 같이 작동합니다.
Style Image가 Conv 레이어들을 거쳐 나온 Feature Map의 각 채널별 특징의 상관관계 값을 스타일 Loss 값으로 정의
Content Image가 Conv4 레이어를 거쳐 나온 Feature Map의 차이를 콘텐츠 Loss 값으로 정의
위 두 Loss 값이 작아지도록 학습하여 새로운 이미지를 만들어간다.
뉴럴 스타일 트랜스퍼는 2015년 리온 게티스 Leon Gatys 등에 의해
논문 <예술적 스타일의 신경 알고리즘 A Neural Algorithm of Artistic Style>을 통해 소개되었습니다.
이 논문은 리온 게티스 Leon Gatys 가 독일 튀빙겐 대학 University of Tübingen 박사과정 도중 발표한 것입니다.
Deep CNN에 대해 연구하는 과정에서 예술 작품의 스타일과 콘텐츠가 Deep CNN으로 분리될 수 있음을 발견한 것이죠.
그렇게 '분리된 스타일을 다른 이미지에 결합시켜보면 어떨까?' 하는 아이디어에서
뉴럴 스타일 트랜스퍼(NST) 기술이 등장하게 된 것입니다.
뉴럴 스타일 트랜스퍼를 시작으로
AI를 통한 예술 작품 창작 알고리즘에 대한 연구가 뜨거워졌습니다.
이미지를 레이어로 학습시키고 변형하는 것만으로도 재미있는 예술 창작을 할 수 있으니 말이죠.
이미지의 스타일을 바꿈으로써
예술 창작 영역에 도전하고 있는 뉴럴 스타일 트랜스퍼!
리온 게티스는 언젠가 컴퓨터가
"따뜻하고 역동적인 이미지를 만들어 줘"라는 주문에 대한 작품을
창작할 수 있을 것이라고 믿고 있습니다.
