Lesson 07 - Live Model Merge
실시간으로 모델을 병합하여 이미지를 생성하는 기술
쉽게 배우는 ComfyUI 기초
L1 - ComfyUI 소개, 설치
L2 - Text to Image
L3 - Latent Upscaling
L4 - Image to Image Painting
L5 - Image to Image Render_WD14
L6 - Model Switch and Masking
L7 - Live Model Merge
L8 - Using Loras
L9 - ControlNet
L10 - UltimateUpsacle
L11 - Facedetailer
ComfyUI에서 Live Model Merge는 여러 AI 모델을 실시간으로 병합하여 이미지 생성에 사용할 수 있는 기능입니다. 이 기술을 사용하면 서로 다른 스타일의 모델을 결합하여 독특한 이미지를 만들 수 있으며, 사용자는 병합 모델 노드를 이용해 병합 비율을 조정하면서 원하는 결과물을 얻을 수 있습니다.
병합 모델로 생성한 이미지(0.4설정)1.모델 병합(Model Merge) 이해하기:
모델(체크포인트)은 커뮤니티에서 훈련된 AI 모델로, 다양한 스타일(예: 애니메이션, 사진 리얼리즘, 디지털 페인팅)을 가지고 있습니다. 모델 병합은 이러한 서로 다른 스타일의 모델을 결합하여 원하는 스타일을 혼합한 이미지를 생성하는 기술입니다.
예를 들어, "AbsoluteReality" 모델과 "Counterfeit" 모델을 병합하여 리얼리즘과 애니메이션 스타일을 동시에 반영한 이미지를 만들 수 있습니다.
모델 정보 : AbsoluteReality 1.8(https://civitai.com/models/81458/absolutereality?modelVersionId=132760)
모델 정보 : Counterfeit-V3.0(https://civitai.com/models/4468/counterfeit-v30?modelVersionId=57618)
모델 파일은 https://civitai.com에서 검색을 해서 가장 인기있는 모델을 다운로드하여 사용하면 됩니다. 예를 들어, 애니메이션 스타일 모델이 필요할 경우 anime로 검색하여 찾으시면 됩니다.
https://civitai.com/tag/anime2.Live Model Merge 설정:
Live Model Merge는 ComfyUI에서 두 개 이상의 모델을 선택하고, 모델 병합 노드를 사용하여 설정할 수 있습니다. 사용자는 ModelMergeSimple노드에서 ratio값을 사용하여 각 모델의 기여도를 조절할 수 있습니다. ratio값슬이 1이면 첫 번째 모델(애니스타일)의 기여도가 100%, 0이면 두 번째 모델(리얼 현실이미지)의 기여도가 100%입니다.
클립 병합(Clip Merge)도 가능하며, 텍스트 프롬프트와 관련된 모델 설정을 병합할 수 있습니다. 이를 통해 사용자는 모델의 스타일뿐만 아니라 텍스트의 스타일도 혼합하여 다양한 결과물을 얻을 수 있습니다.
ClipMergeSimple노드를 사용하여 클립도 병합하여 사용할수 있습니다.
Live Model Merge 워크플로우
ModelMergeSimple 노드 추가후 ratio의 값으로 모델 적용 
ratio의 설정 값에 따른 각 모델의 기여도 비율에 따른 이미지 생성 결과입니다.
3.실험과 결과물 조정:
ModelMergeSimple을 사용해 모델과 클립 병합 비율을 조정함으로써, 사용자는 애니메이션 스타일과 사진 리얼리즘 사이의 다양한 결과물을 실험할 수 있습니다.
예를 들어, 슬라이더 값을 0.4로 설정하면 사진 리얼리즘과 약간의 애니메이션 스타일이 결합된 이미지를 얻을 수 있습니다.
이 방식은 하드 드라이브에 모델 병합 결과를 저장하지 않고도 실시간으로 다양한 스타일을 시도할 수 있는 장점이 있습니다. 단, 여러 모델을 메모리에 로드해야 하므로 사용 가능한 RAM 용량에 따라 제한이 있을 수 있습니다.
ratio 값이 0.4로 설정하여 약간의 애니메이션 스타일 추가4.고급 병합 옵션:
ComfyUI에서는 더 많은 모델을 병합하거나, 병합된 모델의 출력을 다른 모델과 추가로 병합하는 시리즈 설정도 가능합니다. 이러한 기능을 통해 매우 복잡하고 독창적인 이미지 생성이 가능합니다.
Live Model Merge는 ComfyUI 사용자에게 이미지 생성의 창의성을 극대화할 수 있는 유연한 도구를 제공합니다. 이를 통해 사용자는 다양한 스타일과 효과를 실시간으로 실험하고 독창적인 이미지를 만들 수 있습니다.
*모델 정보 : AbsoluteReality 1.8(https://civitai.com/models/81458/absolutereality?modelVersionId=132760)
*모델 정보 : Counterfeit-V3.0(https://civitai.com/models/4468/counterfeit-v30?modelVersionId=57618)
*예제 워크플로우
