Style Transfer와 돈되는 사업 아이템
Convoulutional Neural Network(CNN) 분야에서 요새 재미있게 활용되는 기술 중의 하나가 Style Transfer이다. 엄밀히 말하면 요새는 아니고 이미 2015년에 구글 엔지니어(이번에도 구글인가) 소스를 공개한 Deep Dream이 그 대표적인 케이스이다. Deep Dream 은 현재 아래 웹사이트에서 이용 가능하며, 일반인이 손쉽게 Style Transfer라는 기술을 경험할 수 있게 운영 중이다. 한번 자기 얼굴 사진으로 실험해보면 재미있는 결과를 얻을 수 있을 것이다.
딥 드립 사이트 아래 참조
https://deepdreamgenerator.com/
혹시 Style Transfer 가 무엇인지 모르시는 분을 위하여..
Style Transfer란?
일단 아래 그림을 한번 보시라.
무엇이 떠오르는가? 샌프란 시스코의 명물인 골든 게이트 브리지? 아니면 화가 반 고흐?
눈썰미 있는 분이라면 둘 다 떠올렸을 것이다.
아마도 반 고흐가 샌프란시스코의 골든 게이트 브릿지를 그렸다면 이런 스타일로 그렸을 것이다. 그런데 이 그림은 절대 반 고흐가 그린 그림은 아니다. 반 고흐는 1890년에 사망하였고, 골든게이트는 1937년에 완공되었다. 반 고흐가 귀신이 돼서 미국 땅을 밝고 그리지 않는 이상 불가능하다.
위 그림이 바로 Style Transfer라는 CNN 관련 기술을 사용한 것이다. Style Transfer에는 3가지의 이미지 가 존재한다. 1) Contents 이미지 2) Style 이미지 3) Generated 이미지이다.
아래 그림이 왼쪽이 Contents 이미지, 우측이 Style 이미지이고 위의 반 고흐 화풍의 골든게이트 브릿지가 Generated 이미지이다.
Style Transfer의 구조에 대해서 자세히 설명하는 것은 이 글의 범위를 벗어나는 것이므로 간단히만 설명하고 자 한다. Style Transfer는 CNN의 한 분야이므로 Classification이나 Object Detection과 같이 Neural Network를 학습시키는 것은 마찬가지이다. 당연히 학습을 위해서는 우선 Cost Function에 대한 정의가 이루어질 것이고, 이게 정의가 되면 Gradient Descent 알고리즘을 통하여 Cost가 최저가 되는 방향으로 Weight와 Bias를 업데이트해가며 학습을 하게 된다. Style Transfer의 Cost Function은 아래와 같다.
Style Transfer의 Cost Function위 수식에서 보듯이 Cost Function은 두 가지로 이루어져 있는데, Contents에 대한 부분, 그리고 Style에 대한 부분이다. Contents에 대한 부분은 말 그대로 이미지에 무슨 Contents가 있는지 (골든 게이트 브리지), Style에 대한 부분은 이미지가 어떠한 화풍인지(반 고흐 화풍)를 말한다. 즉 이 두 가지 요소를 고려하여 Neural Network을 학습시키고 나서, Generated Imange를 넣게 되면 골든게이트 브리지 사진을 반 고흐 화풍 형태로 표현되는 새로운 이미지가 생성되는 것이다.
흥미롭고 재미있는 기술이다. 그런데 아직 딱히 사업적으로 성공한 애플리케이션을 보지 못했다.
위에 언급했던 Deep Dream은 지금 일종의 커뮤니티 사이트와 같다. 사용자가 사전에 정의된 Style 이미지를 활용하여 자신만의 독창 전인 이미지를 손쉽게 만들어 보고, 이것을 올려 일종의 인기투표를 하고 랭킹화 시키는 것이다. 사용자 트래픽이 늘어난다고 해도 딱히 광고 수익 외에 별다른 비즈니스 모델은 없는 상황이다.
찾아보니 똑같은 아이템을 스마트폰 앱으로 만들어 운영 중인 아래 사례가 있다. 아이폰 앱스토어에서 Pikazo로 검색하면 손쉽게 다운로드할 수 있다. 직접 다운로드해서 사용해보니, Pikazo는 비즈니스 모델이 있기는 하다. 실물 그림을 파는 비즈니스 모델이다. (나도 Pikazo을 알기 전에 정확히 요 아이템을 생각하긴 했었다)
사용자가 앱을 통해서 손쉽게 Style Transfer를 활용한 자신만의 이미지를 생성하고, 이를 간편히 종이 재질, 액자 스타일, 사이즈 등만 설정해서 손쉽게 주문하는 방식이다. 스타일은 유명화가의 여러 화풍을 선택할 수 있게 해 놓았다.
재미있다. 만약 내 얼굴 사진 반 고흐가 그려준다면 어떤 사진일까? 한번 직접 해보았다.
반 고흐가 그려주신 내 얼굴그런데...... 문제는 가격이 전혀 싸지가 않다.
일반 캔버스 재질에, 36*48 정도의 크기에 프레임 없이는 10만 원 정도, 프레임 씌우니 20만 원을 훌쩍 넘는 가격이다. (손바닥 정도 사이즈 사진도 해보니 최 4만 원은 들어간다.)
물론 내 얼굴 사진을 반 고흐 화풍으로 그리는 것이 재미있기는 하나, 이것을 10만 원이 넘는 금액을 주고 인쇄해서 액자로 걸어놓고 싶은 사람이 과연 얼마나 될지가 사실 의문이다.
나도 생각해본 사업 모델을 누군가가 먼저 실행한 것을 보니 재미있긴 한데, 직접 만들어 놓은 걸 보니 막상 돈 벌기는 좀 어렵다는 생각이 든다.
광고 사진은 Style Transfer로 쉽게 해결이 안 되려나?
얼마 전 회사 한편에서 제품 광고 사진을 찍는 것을 본 적이 있다. 제법 사이즈가 있는 제품이라 사진 업체에서 커다란 조명과 5명 정도의 인원이 왔다 갔다 하면서 부산하게 움직이는 것을 보았다. 대략 그 사진 몇 장 촬영하는데 반나절을 꼬박 들이고, 비용도 수백만 원 정도를 들였다고 했다. 아무리 생각해도 너무 비효율적이라는 생각이 들었다.
만약 이를 Style Transfer로 쉽게 해결할 수 있다면??
그냥 스쳐 지나가는 생각으로 Style Transfer로는 이게 해결이 안 되나 싶었다. 예를 들자면 개인이 그냥 대충 찍은 제품이나 인물사진을 사전에 광고사진에 최적화된 상태로 학습시킨 Style transfer 알고리즘을 통해 손쉽게 전문 사진기사가 찍은 것과 같은 효과를 가질 수는 없을까?
만약 되기만 한다면 광고 사진 하나 찍으려고 저렇게 많은 사람과 조명 장비들이 왔다 갔다 하면서 리소소를 써야 할 필요가 있나 싶다.
이상 그냥 얼마 전에 문득 스쳐 지나간 생각을 글로 끄적여 보았다.
독자 여러분 중 Style Transfer에 정통하신 분이 있다면 한번 제 생각에 대해서 의견 부탁드립니다!
