brunch

You can make anything
by writing

C.S.Lewis

by 액션피규어랩 Aug 28. 2024

Lesson 05 - Img2Img Render

입력 이미지와 텍스트 프롬프트 사용

쉽게 배우는 ComfyUI 기초

L1 - ComfyUI 소개, 설치

L2 - Text to Image

L3 - Latent Upscaling

L4 - Image to Image Painting

L5 - Image to Image Render_WD14

L6 - Model Switch and Masking

L7 - Live Model Merge

L8 - Using Loras

L9 - ControlNet

L10 - UltimateUpsacle

L11 - Facedetailer


ComfyUI에서  Img2Img Render + WD14는 입력 이미지와 텍스트 프롬프트를 사용해 창의적이고 독특한 결과물을 생성하는 고급 이미지 처리 기법입니다. 이 방법은 특히 이미지의 특성을 유지하면서도 다양한 스타일과 변형을 만들어낼 수 있어, 예술적 자유도를 높여줍니다.  

1.이미지와 텍스트의 조합:

기본적으로 사용자는 입력 이미지와 함께 간단한 프롬프트(예: "거대한 전투 메카, 도시 배경,  최고 품질")를 제공하여 AI가 이를 바탕으로 이미지를 생성합니다. 

이때, Denosie 값(예제에서는 0.3으로 설정)을 낮게 설정하면 원본 이미지에 충실한 결과를 얻을 수 있고, 값을 높이면 더 많은 변형이 가능합니다. 

모델 정보 : MechaMix(https://civitai.com/models/69438/mechamix?modelVersionId=74096)
프롬프트 : Dark_Fantasy,Cyberpunk,Mechanical marvel,Robotic presence,Cybernetic guardian,(best quality:1.2), (masterpiece), (high resolution), (intricate detailed),simple background
원본 이미지(https://kr.pinterest.com/pin/844493670515446/) 와 Denosie 0.3으로  출력된 이미지
Img2Img workflow

2.WD14-Tagger와 이미지 분석:

이 워크플로우에서는 WD14-Tagger라는 노드를 사용해 입력 이미지를 분석하고, 그 이미지의 특성을 자동으로 텍스트 프롬프트로 변환합니다. 

예를 들어, 입력 이미지가 여성 상반신 이미지라면, 자동으로 "1girl, solo, breasts"과 같은 텍스트가 생성됩니다. 이를 통해 사용자는 추가적인 프롬프트를 작성하지 않아도 됩니다. 

WD14-Tagger workflow
ComfyUI-WD14-Tagger : https://github.com/pythongosssss/ComfyUI-WD14-Tagger
ComfyUI Manager에서 Tagger 검색후 WD1.4 Tagger 설치하면 됩니다.
WD14 Tagger 노드를 통해서 텍스트로 프롬프트 추출
변환된 프롬프트 태그 : 1girl, solo, breasts, looking_at_viewer, blush, short_hair, blue_eyes, blonde_hair, dress, bare_shoulders, jewelry, medium_breasts, collarbone, upper_body, parted_lips, grey_background, lips, see-through, makeup, freckles

3.이미지 리사이즈와 비율 유지:

입력 이미지를 원하는 크기로 조정할 수 있으며, 가로 세로 비율을 유지하면서 크기를 변경하거나, 필요에 따라 비율을 조정해 다른 형태의 이미지를 생성할 수 있습니다.

 이 과정은 이미지의 세부 사항을 유지하면서도 새로운 구성을 가능하게 합니다.

Image Resize 노드를 통해서 이미지 사이즈및 비율 유지

4.프롬프트 결합을 통한 제어 강화:

텍스트 입력을 보다 정교하게 제어하기 위해 String Function 노드를 사용하여, WD14-Tagger가 생성한 프롬프트와 사용자가 추가로 입력한 텍스트를 결합할 수 있습니다. 

이를 통해 더욱 섬세하고 복잡한 이미지 결과를 얻을 수 있습니다. 

예제를 통해서 2.5D로 출력된 이미지를 리얼한 이미지로 변환하거나 애니메이션 스타일로 변환할때 사용할 수 있습니다.

기존 형태를 그대로 유지한 채로 변환을 원한다면 Denosie값을 낮추면 됩니다. 예제에서는 Denosie값은 0.50로 설정되어 있습니다. 각각의 스타일에 맞는 모델을 찾아서 적용해야 합니다.

String Function 노드를 통해서 추가로 텍스트를 결합하여 사용
(왼쪽) ReV Animated v2 , (가운데) realgirl_v20, (오른쪽) Manmaru mix
모델 정보 : realgirl2.0(https://civitai.com/models/355134?modelVersionId=411274)
모델 정보 : Manmaru mix3.0(https://civitai.com/models/86277/manmaru-mix?modelVersionId=188171)

5.창의적 결과물의 다양성:

이 워크플로우를 통해, 같은 입력 이미지에서도 무한한 변형과 스타일 변화를 시도할 수 있습니다. 

예를 들어, 동일한 여성 이미지를 사용하면서도 각기 다른 이미지 스타일과 배경을 가진 여러 변형 이미지를 생성할 수 있습니다. 

동일한 모델을 통해서 사이버펑크, 엘프, 오크와 같은 원본 이미지에서 다양한 형태의 이미지를 생성할 수 있습니다. 

Img2Img2 WD14에 태그 변형 workflow
(왼쪽) 사이버펑크, (가운데)엘프, (오른쪽)오크

6.높은 자유도를 통한 예술적 가능성 확장:

Denoise 값을 조절함으로써 AI가 생성하는 이미지의 자유도를 크게 설정할 수 있습니다. 높은 Denosie 값은 AI가 더 많은 창의적 변형을 시도하게 하여, 원본 이미지와 다른 다양한 결과물을 생성하게 합니다.   

Img2Img Render + WD14는 ComfyUI 사용자에게 이미지를 통해 예술적 창의성을 극대화할 수 있는 유연한 도구를 제공합니다. 이를 통해 사용자는 단순한 이미지 입력으로도 복잡하고 다채로운 결과물을 얻을 수 있습니다.


*예제 워크플로우

*모델 정보 : MechaMix(https://civitai.com/models/69438/mechamix?modelVersionId=74096)

*모델 정보 : realgirl2.0(https://civitai.com/models/355134?modelVersionId=411274)

*모델 정보 : Manmaru mix3.0(https://civitai.com/models/86277/manmaru-mix?modelVersionId=188171)

*노드 정보 : ComfyUI-WD14-Tagger : https://github.com/pythongosssss/ComfyUI-WD14-Tagger

keyword
매거진의 이전글 Lesson 04 - Image to Image
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari