brunch

You can make anything
by writing

C.S.Lewis

by 액션피규어랩 Sep 03. 2024

Lesson 06 - Switch and Masking

모델 스위칭과 마스킹 기술을 사용한 이미지 생성

쉽게 배우는 ComfyUI 기초

L1 - ComfyUI 소개, 설치

L2 - Text to Image

L3 - Latent Upscaling

L4 - Image to Image Painting

L5 - Image to Image Render_WD14

L6 - Model Switch and Masking

L7 - Live Model Merge

L8 - Using Loras

L9 - ControlNet

L10 - UltimateUpsacle

L11 - Facedetailer


ComfyUI에서 **모델 스위칭(Model Switching)**과 마스킹(Masking) 기술은 다양한 스타일의 이미지를 생성하고 원하는 부분을 수정하는 데 사용되는 강력한 도구입니다. 이 두 가지 기술을 사용하면 이미지 생성의 유연성과 창의성을 크게 향상시킬 수 있습니다.

1.모델 스위칭(Model Switching):

모델 스위칭은 이미지 생성 과정 중간에 다른 AI 모델을 사용하는 기술입니다. 예를 들어, 디지털 페인팅 스타일의 모델을 사용하여 이미지를 생성한 후, 같은 구도와 색상으로 사진 스타일의 이미지를 생성할 수 있습니다.

이 방법을 통해 서로 다른 모델의 강점을 결합하여 더 매력적이고 고유한 이미지를 만들 수 있습니다. 

예를 들어, 첫 번째 모델은 색상과 구도에서 뛰어나고, 두 번째 모델은 사실적인 피부 텍스처를 제공할 때 유용합니다.

ComfyUI에서 모델 스위칭을 구현하려면, 각각의 모델에 맞는 입력 프롬프트와 텍스트 인코딩 설정을 사용하여 여러 체크포인트를 로드하고 K 샘플러를 통해 이미지를 생성합니다.

Model Switching 워크플로우
(왼쪽)애니메이션 스타일 과 (오른쪽)사진 스타일
모델 정보 : qchan anime Mix(https://civitai.com/models/257080/qchan-anime-mix)
모델 정보 : majicMIX realistic(https://civitai.com/models/43331?modelVersionId=176425)


2.마스킹(Masking):

마스킹은 이미 생성된 이미지의 특정 부분을 수정하거나 덧칠하는 데 사용됩니다. ComfyUI에서는 사용자가 원하는 부분을 마우스로 직접 마스크를 그려 편집할 수 있습니다.

마스킹 프로세스는 주로 이미지에서 특정 영역을 선택하여 해당 부분만 수정하는 데 사용됩니다.

예를 들어, 얼굴에 마스크를 씌워 표정을 변경하거나, 배경의 일부를 수정할 수 있습니다.

마스크를 만든 후, 잠재 이미지(latent image)로 변환하고, 이 마스크를 사용하여 선택된 부분만 재구성하거나 새로운 스타일로 변환할 수 있습니다. 

이 과정에서 Dnoise 값(0.56으로 설정)을 조정하여 AI가 마스크 영역을 얼마나 변경할지 결정할 수 있습니다.

Masking 워크플로우
Load Image 노드에서 마우스 우클릭으로 Open in MaskEditor로 바로 마스킹을 만들수 있다.
원본 이미지에서 마스킹 처리한 부분만 변화된것을 볼수 있다.
추가한 프롬프트 : beautiful woman, wearing glasses


3.활용 사례 및 창의적 가능성:

모델 스위칭과 마스킹을 결합하여, 사용자는 AI가 생성한 이미지를 세밀하게 제어하고, 다양한 스타일과 변형을 실험할 수 있습니다. 

예를 들어, 특정 의상이나 배경만 바꾸는 이미지 시리즈를 만들거나, 동일한 구도의 이미지를 다양한 스타일로 표현하는 등 창의적인 결과물을 생성할 수 있습니다.

ComfyUI의 모델 스위칭과 마스킹은 이미지 생성의 유연성을 극대화하고, 사용자에게 더 많은 제어권을 부여하는 강력한 기능들입니다. 


*모델 정보 : qchan anime Mix(https://civitai.com/models/257080/qchan-anime-mix)

*모델 정보 : majicMIX realistic(https://civitai.com/models/43331?modelVersionId=176425)

*예제에 사용된 워크플로우 파일


매거진의 이전글 Lesson 05 - Img2Img Render
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari