brunch

You can make anything
by writing

C.S.Lewis

by 액션피규어랩 Aug 27. 2024

Lesson 04 - Image to Image


쉽게 배우는 ComfyUI 기초

L1 - ComfyUI 소개, 설치

L2 - Text to Image

L3 - Latent Upscaling

L4 - Image to Image Painting

L5 - Image to Image Render_WD14

L6 - Model Switch and Masking

L7 - Live Model Merge

L8 - Using Loras

L9 - ControlNet

L10 - UltimateUpsacle

L11 - Facedetailer


Image to Image Painting은 ComfyUI에서 이미지를 입력으로 사용하여 새로운 이미지를 생성하는 방법입니다. 

이 기술을 사용하면 기본적인 스케치나 그림을 AI가 해석하여 고품질의 예술 작품으로 변환할 수 있습니다. 

1.이미지 입력을 통한 이미지 생성: 

이미지를 AI 모델에 입력으로 사용하여, AI 모델이 해당 이미지를 기반으로 새로운 이미지를 생성합니다.

AI는 입력 이미지의 색상, 구성 등을 해석하여 이를 바탕으로 더 세밀하고 고품질의 이미지를 만듭니다.

 

2.잠재 공간(Latent Space)과 VAE:

ComfyUI에서는 이미지의 픽셀 데이터를 잠재 공간의 벡터로 변환하여 처리합니다. 이를 위해 VAE(Variational Autoencoder)를 사용하여 픽셀 이미지를 잠재 이미지로 변환하고, 이 정보를 바탕으로 AI가 이미지를 생성합니다. 

Load Image -> VAE Encode -> Ksampler의 순서로 픽셀 이미지를 변환하고 이것을 샘플러로 전달하여 이미지를 출력한다고 보시면 됩니다. 

기존의 Text 입력으로 이미지를 생성하던 방식에서 이미지 입력을 통한 방식입니다.

Load Image -> VAE Encode -> Ksampler 순서로 진행
Img2Img로 출력된 이미지

3. 사용 방법:

간단한 스케치나 그림을 그려서 AI에 입력할 수 있으며, AI는 이를 해석하여 보다 복잡하고 정교한 이미지를 만듭니다. 예를 들어, 천사나 사이보그와 같은 주제를 입력하고, 색상과 형태를 간단히 스케치하여 AI가 이를 고해상도의 이미지로 변환하게 할 수 있습니다. 

모델 정보 : BeenYou R13 (https://civitai.com/models/27688?modelVersionId=85614)
Img to Img workflow (긍정 프롬프트에 입력 없음)
(왼쪽)angel 태그 추가, (오른쪽) cyborg body 추가

4.Denoise Strength 값의 조정: 

Denoise 값은 AI가 원본 이미지와 얼마나 가까운 결과를 생성할지 결정합니다.

값이 높을수록 AI는 더 많은 자유도를 갖게 되어 AI가 원하는(?) 이미지로, 값이 낮을수록 원본 이미지의 형태를 유지하여 생성하게 됩니다. 

다양한 Denosie 값을 직접 입력하면서 출력된 결과물을 비교해보시면 좋을거 같습니다. 

Denoise 값이 0.2 와 0.5
Denoise 값이 0.8 과 1.0

5.그라디언트 입력:

기본적인 이미지 대신, 단순한 그라디언트를 입력으로 사용할 수도 있습니다. 예를 들어, 빨간색에서 파란색으로 변하는 그라디언트를 입력으로 사용하면, AI는 해당 색상 변화에 따라 분위기와 느낌이 다른 이미지를 생성할 수 있습니다.

Gradient Input WorkFlow
긍정 프롬프트 : (best quality:1.2), (masterpiece), (high resolution), 1girl, pale skin, (intricate detailed),simple background, upper body
부정 프롬프트 : (low quality:1.4), (worst quality:1.4), badhandv4, nsfw, nude, full body
빨간색에서 주황색 그라디언트
빨간색에서 파란색 그라디언트

6.예술적 표현과 창의성:

Img2Img 페인팅은 사용자가 예술적 아이디어를 시각적으로 표현하는 데 큰 도움을 줄것으로 생각됩니다.

사용자는 입력 이미지와 프롬프트를 조합하여 다양한 변형을 시도할 수 있으며, 이를 통해 예술적 창의성을 발휘할 수 있습니다.(AI를 통해서 영감을 받을수도..)

 AI가 생성한 이미지에서 더 많은 제어와 변형을 시도할 수 있으며, 고품질의 예술 작품을 직접 만들어 보세요


*모델 정보 : BeenYou R13 (https://civitai.com/models/27688?modelVersionId=85614)

*Image to Image, Gradient Input workflow


keyword
매거진의 이전글 Lesson 03 - Latent Upscaling
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari