brunch

Lesson 05 - Img2Img Render

입력 이미지와 텍스트 프롬프트 사용

by 액션피규어랩

쉽게 배우는 ComfyUI 기초

L1 - ComfyUI 소개, 설치

L2 - Text to Image

L3 - Latent Upscaling

L4 - Image to Image Painting

L5 - Image to Image Render_WD14

L6 - Model Switch and Masking

L7 - Live Model Merge

L8 - Using Loras

L9 - ControlNet

L10 - UltimateUpsacle

L11 - Facedetailer


ComfyUI에서 Img2Img Render + WD14는 입력 이미지와 텍스트 프롬프트를 사용해 창의적이고 독특한 결과물을 생성하는 고급 이미지 처리 기법입니다. 이 방법은 특히 이미지의 특성을 유지하면서도 다양한 스타일과 변형을 만들어낼 수 있어, 예술적 자유도를 높여줍니다.

ComfyUI_00233_.png

1.이미지와 텍스트의 조합:

기본적으로 사용자는 입력 이미지와 함께 간단한 프롬프트(예: "거대한 전투 메카, 도시 배경, 최고 품질")를 제공하여 AI가 이를 바탕으로 이미지를 생성합니다.

이때, Denosie 값(예제에서는 0.3으로 설정)을 낮게 설정하면 원본 이미지에 충실한 결과를 얻을 수 있고, 값을 높이면 더 많은 변형이 가능합니다.

모델 정보 : MechaMix(https://civitai.com/models/69438/mechamix?modelVersionId=74096)
프롬프트 : Dark_Fantasy,Cyberpunk,Mechanical marvel,Robotic presence,Cybernetic guardian,(best quality:1.2), (masterpiece), (high resolution), (intricate detailed),simple background
6b19a14b17be808774f11ba869383e7c.jpg
ComfyUI_00186_.png
원본 이미지(https://kr.pinterest.com/pin/844493670515446/) 와 Denosie 0.3으로 출력된 이미지
L5_ComfyUI_002.png Img2Img workflow

2.WD14-Tagger와 이미지 분석:

이 워크플로우에서는 WD14-Tagger라는 노드를 사용해 입력 이미지를 분석하고, 그 이미지의 특성을 자동으로 텍스트 프롬프트로 변환합니다.

예를 들어, 입력 이미지가 여성 상반신 이미지라면, 자동으로 "1girl, solo, breasts"과 같은 텍스트가 생성됩니다. 이를 통해 사용자는 추가적인 프롬프트를 작성하지 않아도 됩니다.

L5_ComfyUI_005.png WD14-Tagger workflow
ComfyUI-WD14-Tagger : https://github.com/pythongosssss/ComfyUI-WD14-Tagger
L5_ComfyUI_001.png ComfyUI Manager에서 Tagger 검색후 WD1.4 Tagger 설치하면 됩니다.
L5_ComfyUI_003.png WD14 Tagger 노드를 통해서 텍스트로 프롬프트 추출
변환된 프롬프트 태그 : 1girl, solo, breasts, looking_at_viewer, blush, short_hair, blue_eyes, blonde_hair, dress, bare_shoulders, jewelry, medium_breasts, collarbone, upper_body, parted_lips, grey_background, lips, see-through, makeup, freckles

3.이미지 리사이즈와 비율 유지:

입력 이미지를 원하는 크기로 조정할 수 있으며, 가로 세로 비율을 유지하면서 크기를 변경하거나, 필요에 따라 비율을 조정해 다른 형태의 이미지를 생성할 수 있습니다.

이 과정은 이미지의 세부 사항을 유지하면서도 새로운 구성을 가능하게 합니다.

L5_ComfyUI_004.png Image Resize 노드를 통해서 이미지 사이즈및 비율 유지

4.프롬프트 결합을 통한 제어 강화:

텍스트 입력을 보다 정교하게 제어하기 위해 String Function 노드를 사용하여, WD14-Tagger가 생성한 프롬프트와 사용자가 추가로 입력한 텍스트를 결합할 수 있습니다.

이를 통해 더욱 섬세하고 복잡한 이미지 결과를 얻을 수 있습니다.

예제를 통해서 2.5D로 출력된 이미지를 리얼한 이미지로 변환하거나 애니메이션 스타일로 변환할때 사용할 수 있습니다.

기존 형태를 그대로 유지한 채로 변환을 원한다면 Denosie값을 낮추면 됩니다. 예제에서는 Denosie값은 0.50로 설정되어 있습니다. 각각의 스타일에 맞는 모델을 찾아서 적용해야 합니다.

L5_ComfyUI_006.png String Function 노드를 통해서 추가로 텍스트를 결합하여 사용
ComfyUI_00080_.png
ComfyUI_00190_.png
ComfyUI_00205_.png
(왼쪽) ReV Animated v2 , (가운데) realgirl_v20, (오른쪽) Manmaru mix
모델 정보 : realgirl2.0(https://civitai.com/models/355134?modelVersionId=411274)
모델 정보 : Manmaru mix3.0(https://civitai.com/models/86277/manmaru-mix?modelVersionId=188171)

5.창의적 결과물의 다양성:

이 워크플로우를 통해, 같은 입력 이미지에서도 무한한 변형과 스타일 변화를 시도할 수 있습니다.

예를 들어, 동일한 여성 이미지를 사용하면서도 각기 다른 이미지 스타일과 배경을 가진 여러 변형 이미지를 생성할 수 있습니다.

동일한 모델을 통해서 사이버펑크, 엘프, 오크와 같은 원본 이미지에서 다양한 형태의 이미지를 생성할 수 있습니다.

L5_ComfyUI_007.png Img2Img2 WD14에 태그 변형 workflow
ComfyUI_00208_.png
ComfyUI_00211_.png
ComfyUI_00224_.png
(왼쪽) 사이버펑크, (가운데)엘프, (오른쪽)오크

6.높은 자유도를 통한 예술적 가능성 확장:

Denoise 값을 조절함으로써 AI가 생성하는 이미지의 자유도를 크게 설정할 수 있습니다. 높은 Denosie 값은 AI가 더 많은 창의적 변형을 시도하게 하여, 원본 이미지와 다른 다양한 결과물을 생성하게 합니다.

Img2Img Render + WD14는 ComfyUI 사용자에게 이미지를 통해 예술적 창의성을 극대화할 수 있는 유연한 도구를 제공합니다. 이를 통해 사용자는 단순한 이미지 입력으로도 복잡하고 다채로운 결과물을 얻을 수 있습니다.


*예제 워크플로우

*모델 정보 : MechaMix(https://civitai.com/models/69438/mechamix?modelVersionId=74096)

*모델 정보 : realgirl2.0(https://civitai.com/models/355134?modelVersionId=411274)

*모델 정보 : Manmaru mix3.0(https://civitai.com/models/86277/manmaru-mix?modelVersionId=188171)

*노드 정보 : ComfyUI-WD14-Tagger : https://github.com/pythongosssss/ComfyUI-WD14-Tagger

keyword
매거진의 이전글Lesson 04 - Image to Image