사진이 지브리로? 생성형 AI, 그 기술과 논란까지

Apr 10. 2025

필자가 ChatGPT를 활용해 변환한 사진

“너 닮은 지브리 캐릭터 만들어봤어?”

최근 SNS를 중심으로, 지브리 애니메이션 풍의 셀카 이미지가 빠르게 확산되고 있다. 실제 지브리에서 그린 듯한 따뜻한 색감, 감성적인 배경, 살짝 커진 눈과 부드러운 라인. 그 안에 들어가 있는 건 놀랍게도 내 얼굴, 내 강아지, 내 친구다.

사진 한 장만 올리면 마치 내가 지브리 세계관의 주인공이 된 듯한 이 경험.

그 중심엔 바로 생성형 AI의 발전이 있다.

1. AI는 무엇일까?

요즘 어디서든 빠지지 않고 등장하는 단어, AI(인공지능). ChatGPT를 비롯한 다양한 서비스들이 일상에 스며들면서, 우리는 점점 AI라는 존재를 낯설지 않게 받아들이고 있다.

AI는 한마디로 '사람처럼 사고하고 학습하며 판단하는 시스템'이다. 처음엔 데이터를 분류하거나 예측하는 데 쓰이던 AI는, 이제는 인간처럼 글을 쓰고, 그림을 그리고, 음악을 작곡하는 등 창의적인 영역으로도 확장되고 있다.

이러한 흐름 속에서 특히 주목받는 분야가 있다. 바로 생성형 AI(Generative AI)다.

2. 그림도 그리는 생성형 AI

생성형 AI(Generative AI)는 텍스트, 이미지, 음성 등 다양한 데이터를 학습해 새로운 콘텐츠를 ‘창조’해내는 AI 기술이다. 기존의 AI가 주어진 데이터를 분석하거나 분류하는 데 초점을 맞췄다면, 생성형 AI는 말 그대로 '없는 것을 만들어내는 능력'을 가진다는 점에서 다르다.

그중에서도 이미지 생성 AI는 기술 발전이 빠르게 이뤄지고 있는 분야다.

대표적인 예시로는 다음과 같은 모델들이 있다:

• DALL·E 2 (OpenAI): 텍스트 설명을 바탕으로 현실감 있는 이미지 생성

• Midjourney: 감성적이고 예술적인 스타일로 이미지 생성

• Stable Diffusion: 오픈소스로 공개돼 커뮤니티 기반 확장 및 다양한 커스터마이징 가능

이러한 모델들은 사용자가 입력한 텍스트(프롬프트)를 기반으로, 마치 화가가 그린 것 같은 이미지를 출력해준다. 하지만 여기서 더 나아가, 기존 사진을 애니메이션 스타일로 '변환(transform)'하는 기술도 발전했다.

이러한 변환 작업은 주로 딥러닝 기반의 이미지-to-이미지(image-to-image) 기술, 특히 LoRA(Low-Rank Adaptation) 같은 기술을 활용해 이뤄진다. 이 방식은 기존 대형 모델에 특정 스타일만 ‘추가로 학습’시키는 경량화된 방법으로, 원하는 스타일을 보다 정교하게 구현할 수 있게 해준다.

즉, "나의 셀카 → 지브리 주인공"이라는 마법 같은 변환은, 대형 모델 + 스타일 학습 + 변환 알고리즘의 조합 덕분에 가능해진 것이다.

3. 지브리 스타일 이미지 변환 열풍

이번 열풍의 배경에는 OpenAI가 2025년 3월 발표한 최신 모델 ChatGPT-4o 이미지 생성 기능이 있다. 기존 이미지 생성 AI가 요구했던 복잡한 입력 과정이나 긴 대기시간을 대폭 줄여 평균 20초 만에 사용자의 지시에 따라 고해상도 이미지를 생성할 수 있게 한 것이다.

사용 방법은 매우 간단하다:

1 .Ghibli Diffusion 웹사이트에 접속

2. 자신의 사진을 업로드

3. 잠시 기다리면 지브리 스타일로 변환된 이미지가 자동 생성

4. 저장하거나 공유

이 간단한 구조 덕분에, 이미지 생성 AI에 대해 잘 모르는 사람도 손쉽게 체험할 수 있었고, 이는 곧바로 대중적 인기로 이어졌다.

또한 소셜미디어를 통해 대중적으로 확산되었는데, ‘#GhibliYourself’, ‘#AI지브리챌린지’ 같은 해시태그 캠페인이 SNS에서 큰 인기를 끌었다. 특히 미국 시애들의 엔지니어 Grant Slatton이 가족 사진을 지브리 스타일로 변환한 것이 폭발적인 반응을 얻었다.

(출처: Grant Slatton SNS)

(출처: 샘 알트만의 엑스)

이후 셀럽, 운동선수, 정치인 등 유명인사들이 속속 참여하며 더욱 광범위한 관심이 이어지며, 단순히 기술적으로 뛰어난 결과물을 제공하는 것을 넘어, “나만의 지브리 세계관”을 만들고 공유하는 디지털 놀이 콘텐츠로 자리 잡으며 전세계에서의 급속한 확산을 견인했다.

4. 뜨거운 인기만큼 뜨거운 논란: 지브리 AI를 둘러싼 저작권과 창작 윤리

Ghibli Diffusion의 폭발적인 인기에 따라, 자연스레 ‘이거 저작권 침해 아냐?’라는 질문도 떠오르기 시작했다. 특히 지브리 팬들 사이에선 “마치 진짜 지브리에서 그린 것처럼 보이는데, 이건 합법적인가?”라는 우려가 빠르게 퍼졌다.'

지브리 창작자 측 반응: "우리는 허가한 적 없다"

챗GPT가 생성하는 지브리 화풍의 이미지에 대해 저작권 침해 논란도 제기되고 있다. 특히, 미국 작가협회는 오픈AI를 상대로 집단소송을 진행 중이며, AI가 특정 작가나 스튜디오의 고유한 화풍을 무단으로 학습하고 이를 변형해 사용하는 것이 저작권 침해에 해당하는지 여부가 핵심 쟁점이 되고 있다.

오픈AI는 이에 대해 "개별 예술가의 고유한 스타일을 복제하는 것은 지양하지만, 스튜디오나 보다 넓은 스타일을 활용하는 것은 허용될 수 있다"는 입장을 내비쳤다. 그러나, AI가 어떤 데이터를 학습했는지에 대해서는 여전히 명확히 밝히지 않고 있어 논란은 계속될 것으로 보인다.

한편, 스튜디오 지브리 측의 공식 입장은 아직 없지만, 미야자키 하야오 감독은 이미 2016년 AI 작품에 대해 강한 거부감을 표명한 바 있어, 이러한 저작권 논란은 앞으로도 법적 대응을 촉발할 가능성도 존재한다.

또한 지브리 관련 팬 커뮤니티인 “GHIBLI FOREVER”에서는 공식적으로 “해당 AI의 사용을 자제해달라”는 입장을 내기도 했다.

비록 지브리 스튜디오 본사는 아직 공식적인 법적 대응에 나서진 않았지만, 관련 커뮤니티와 창작자들 사이에서는 “창작권 침해”, “지적 재산권 훼손”이라는 비판이 점점 거세지고 있다.

AI 개발자 및 커뮤니티 입장: “지브리를 베꼈다고 단정할 수 없다”

한편, Ghibli Diffusion의 개발자 @glitchuniverse는 자신의 트위터에서 아래와 같이 입장을 밝혔다:

“우리는 실제 지브리 이미지나 콘텐츠를 데이터로 사용한 적 없다. '지브리풍', '지브리스러운' 감성을 모티브로 학습한 모델일 뿐이다.”

또한 일부 AI 옹호자들은 “지브리 스타일은 개인의 저작권으로 보호받기 어려운 ‘스타일’일 뿐”, “유저들이 비상업적 용도로 사용하는 한 표현의 자유로 볼 수 있다”고 반박하기도 한다.

이런 논쟁은 단순히 지브리 스타일 AI에만 해당되는 문제가 아니다. 최근 몇 년간 AI가 미술, 음악, 영상 등 다양한 창작 영역을 넘나들며 등장할 때마다 계속 반복되어온 ‘생성형 AI vs 원작 창작자’ 갈등의 최신 버전이라 할 수 있다.

5. 우리는 이 AI 트렌드를 어떻게 바라봐야 할까?

지브리 스타일 사진 변환 AI는 단순한 유행을 넘어, 지금 우리가 생성형 AI 시대에 진입했다는 사실을 다시 한번 체감하게 만드는 현상이었다. 기술은 이미 어느새 예술의 경계에 들어와 있고, 이제 중요한 건 그것을 어떻게 사용하고, 어디까지 허용할 것인지에 대한 사회적 합의다.