Lesson 09 - ControlNet
ControlNet을 통한 이미지 스타일 재구성
쉽게 배우는 ComfyUI 기초
L1 - ComfyUI 소개, 설치
L2 - Text to Image
L3 - Latent Upscaling
L4 - Image to Image Painting
L5 - Image to Image Render_WD14
L6 - Model Switch and Masking
L7 - Live Model Merge
L8 - Using Loras
L9 - ControlNet
L10 - UltimateUpsacle
L11 - Facedetailer
ControlNet은 ComfyUI에서 텍스트와 이미지를 결합해 세밀한 제어가 가능한 이미지 생성을 돕는 도구입니다. 이미지의 구도나 특정 요소는 유지하면서도 스타일이나 세부사항을 변경할 수 있어 매우 유용합니다. ControlNet의 주요 기능과 활용 방법은 다음과 같습니다.
모델정보: Ether Real Mix긍정 프롬프트: powerpuff girls style, illustration of a girl floating in the sky, scarf, floating hair, close-up, warm soft lighting, sunset, cloud, cloudy sky, (sparks:0.7), (light particles:1.1), volumetric lighting, smug, smirk
부정 프롬프트: realistic, photorealistic, photograph, 3D, NSFW, (worst quality, low quality:1.3)
1.ControlNet 개요:
ControlNet을 통해 이미지를 텍스트 프롬프트와 결합하여 AI가 생성하는 이미지의 스타일과 구성을 제어할 수 있습니다. 이를 통해 같은 포즈나 구도를 유지하면서 다른 색상이나 스타일의 이미지를 만들 수 있습니다.
예를 들어, 같은 포즈를 유지하면서 갑옷의 색상이나 질감을 변경하는 식으로 이미지의 특정 부분만 변형이 가능합니다.
2.이미지 전처리 및 모델 적용:
ControlNet을 적용하기 전에 이미지를 전처리하여 AI가 이해할 수 있는 형태(맵)로 변환합니다. 이 전처리된 이미지가 ControlNet에 입력되어 텍스트 프롬프트와 결합하여 최종 이미지를 만듭니다.
전처리 방식은 여러 가지가 있으며, Canny, Hed, OpenPose 등 다양한 방법이 제공됩니다. 각 방법에 따라 이미지의 윤곽이나 세부 사항을 다르게 해석하여 결과에 영향을 미칩니다.
ControlNet 워크플로우3.렌더링 과정에서 ControlNet 적용:
ControlNet은 렌더링 과정의 시작 부분이나 특정 단계에서만 적용될 수 있습니다. 예를 들어, 렌더링 초반에 ControlNet을 적용하고 나머지 부분에서는 모델의 스타일을 자유롭게 적용하도록 설정할 수 있습니다. 이를 통해 ControlNet의 영향을 줄이고 모델의 고유 스타일을 살릴 수 있습니다.
Strength 값을 조정하여 ControlNet이 이미지에 얼마나 강하게 적용될지 제어할 수 있습니다. 이를 통해 세부적인 변화에서부터 전체적인 스타일 변경까지 다양하게 조정할 수 있습니다.
해당 부분의 값을 낮추게 되면 원본에서 많이 변경된 스타일 출력
4.다중 ControlNet 사용:
ComfyUI에서는 여러 ControlNet을 동시에 사용할 수 있습니다. 예를 들어, OpenPose로 포즈를 설정하고, 다른 ControlNet을 사용해 배경이나 세부 스타일을 제어할 수 있습니다.
하지만 여러 ControlNet을 사용할 때는 각 ControlNet의 Strength를 적절히 조절해야 AI가 혼란스럽지 않게 결과를 생성합니다.
다양한 ControlNet Node가 추가된 워크플로우Controlnet 상세 정보 : https://github.com/lllyasviel/ControlNet
5.세밀한 조정 및 실험:
ControlNet은 텍스트 프롬프트뿐만 아니라 이미지의 다양한 요소를 정밀하게 제어할 수 있습니다. 예를 들어, 특정 디테일을 더하거나 줄이는 방식으로 이미지를 수정할 수 있습니다. 이러한 설정을 통해 원하는 결과를 얻기 위한 실험과 조정이 가능합니다.
모델 다운로드 : GrandMix 2.0(https://civitai.com/models/62303/grandmix?modelVersionId=828050)
low:50, high:150ControlNet은 ComfyUI에서 텍스트와 이미지의 결합을 통해 보다 정교하고 세밀한 제어가 가능한 이미지 생성 도구로, 다양한 스타일과 변형을 시도할 수 있는 강력한 기능을 제공합니다. 이를 통해 사용자는 고유한 이미지를 쉽게 만들 수 있습니다.
참고자료
*controlnet 다운로드 : https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
*모델 다운로드 : GrandMix 2.0(https://civitai.com/models/62303/grandmix?modelVersionId=828050)
*워크플로우:
