Lesson 08 - Using Loras
Loras를 사용하여 모델의 스타일 변화 시키기
쉽게 배우는 ComfyUI 기초
L1 - ComfyUI 소개, 설치
L2 - Text to Image
L3 - Latent Upscaling
L4 - Image to Image Painting
L5 - Image to Image Render_WD14
L6 - Model Switch and Masking
L7 - Live Model Merge
L8 - Using Loras
L9 - ControlNet
L10 - UltimateUpsacle
L11 - Facedetailer
ComfyUI에서 Loras는 AI 이미지 생성에 사용되는 중요한 도구로, 이미지의 스타일과 세부 사항을 더 세밀하게 제어할 수 있게 해줍니다. Loras를 사용하면 모델의 스타일을 변화시키거나 세부사항을 추가하여 다양한 결과물을 만들 수 있습니다.
1.Loras란 무엇인가?:
Loras는 AI 모델의 특정 스타일이나 세부사항을 제어하기 위해 사용되는 작은 파일입니다. 예를 들어, 특정한 드레스 스타일, 애니메이션 스타일, 또는 피부의 질감 등을 개선하기 위해 사용할 수 있습니다.
Loras 파일은 비교적 크기가 작고, ComfyUI의 모델 폴더 안에 있는 Loras 폴더에 저장됩니다. 다양한 Loras를 결합하여 사용자가 원하는 이미지 스타일을 보다 세밀하게 조정할 수 있습니다.
설치 경로 : \ComfyUI_windows_portable\ComfyUI\models\loras
LoRA 파일은 Civitai 사이트에서 검색하여 원하는 LoRA를 다운로드후에 해당 경로에 복사
Civitai 사이트에서 필터를 LoRA로 설정하여 검색2.Loras의 활용 방법:
ComfyUI에서는 Loras를 노드를 통해 로드하고 적용할 수 있습니다. 사용자 인터페이스에서 Loras의 강도를 조정하여 모델이 얼마나 영향을 받는지 제어할 수 있습니다.
여러 개의 Loras를 동시에 사용할 수도 있으며, Loras Stack이라는 기능을 통해 다양한 Loras를 결합하여 적용할 수 있습니다. 다만, 너무 많은 Loras를 사용하면 AI 모델이 혼란스러워질 수 있으므로, 적절한 수의 Loras(1~5개 사이)를 사용하는 것이 좋습니다.
Load LoRA 노드를 추가
LoRA Stack 노드를 추가하여 LoRA를 결합하여 사용 가능3.Loras를 통한 스타일 변화:
Loras를 사용하여 특정 스타일의 이미지를 쉽게 생성할 수 있습니다. 예를 들어, "드래곤볼" 애니스타일의 Loras를 사용하면 해당 스타일에 맞는 이미지를 생성할 수 있으며, 다른 Loras와 결합하여 더욱 독특한 결과물을 얻을 수 있습니다.
Loras의 활용은 매우 다양하여, 특정 인물의 외모를 재현하거나, 애니메이션 스타일로 이미지를 변환하는 등 창의적인 이미지 작업에 큰 도움이 됩니다.
Loras Stack 워크플로우(업스케일링 추가)모델 정보 : RealCartoon-Anime(https://civitai.com/models/96629?modelVersionId=359428)
LoRA 정보 : Akira Toriyama Style LoRA(https://civitai.com/models/4857?modelVersionId=5737)
LoRA 정보 : NieR Automata Anime Style LoRA(https://civitai.com/models/61240/nier-automata-anime-style-lora)
LoRA 정보 : Android 18 人造人間18号(https://civitai.com/models/27862/android-18-18-dragon-ball-z)
첫번째 이미지 프롬프트 : 1girl, solo, masterpiece, face focus, looking at viewer, facing viewer, white hair, hair between eyes, green eyes, long hair, medium breasts, toriyama akira
두번째 이미지 프롬프트 :toriyama akira, masterpiece, best quality, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt
두개의 드래곤볼 애니 스타일과 인조인간 18호의 의상 LoRA를 결합하여 드래곤볼 스타일의 이미지를 디테일하게 생성할수 있습니다.
LoRA를 설정한후 switch에서 On으로 설정하여 활성화
인조인간18호 프롬프트 : and18, 1girl, android 18, solo, blonde hair, blue eyes, belt, jeans, pearl_necklace, bracelet, black gloves, white shirt, short hair, short sleeves, earrings, blue pants, open vest, black vest, large breasts,simple background
4.모델과의 결합:
Loras는 기본적으로 모델과 결합되어 사용되며, 각 모델에 따라 다른 결과를 제공할 수 있습니다. 예를 들어, "RealCartoon-Anime" , "AniMerge", "ToonYou", "AstrAnime" 모델에 같은 Loras(인조인간18호)를 적용하면 서로 다른 스타일의 이미지를 생성할 수 있습니다.
사용자는 모델과 Loras의 조합을 실험하여 가장 적합한 스타일을 찾을 수 있습니다.
모델 정보 : ToonYou(https://civitai.com/models/30240/toonyou?modelVersionId=125771)
모델 정보 : AniMerge(https://civitai.com/models/144249?modelVersionId=495273)
5.Clip Skip과 함께 사용하기:
Clip Skip 설정을 조정하면 텍스트 프롬프트가 Loras와 어떻게 결합되는지를 제어할 수 있습니다. Clip Skip 값에 따라 결과 이미지의 스타일과 디테일이 달라질 수 있으므로, 다양한 설정을 시도해 보는 것이 좋습니다.
Clip skip은 이미지 생성 과정에서 일부 Clip Layer를 건너뛰어 이미지 생성 속도를 높이고 품질을 개선하는 기능입니다. 특히 특정 모델에서는 불필요한 노이즈를 줄이고 GPU 자원을 절약하기 위해 사용됩니다.이미지 생성시 Layer처럼 이미지위에 덧칠하는 기능인데 이것을 생략하여 더 나은 이미지를 얻기 위해서 사용합니다. 보통 -2를 설정하며, LoRA 또는 여러개의 샘플러 사용시 영향을 받을수 있습니다.
Loras는 ComfyUI에서 이미지 생성의 창의성을 극대화하고, 사용자가 원하는 스타일과 디테일을 세밀하게 조정할 수 있는 강력한 도구입니다. 이를 통해 사용자는 AI 이미지 생성 과정에서 더 많은 제어권을 가지게 되고, 다양한 스타일과 결과물을 쉽게 실험할 수 있습니다.
CLIP Set Last Layer 노드에서 설정*모델 정보 : RealCartoon-Anime(https://civitai.com/models/96629?modelVersionId=359428)
*모델 정보 : ToonYou(https://civitai.com/models/30240/toonyou?modelVersionId=125771)
*모델 정보 : AniMerge(https://civitai.com/models/144249?modelVersionId=495273)
*LoRA 정보 : Akira Toriyama Style LoRA(https://civitai.com/models/4857?modelVersionId=5737)
*LoRA 정보 : NieR Automata Anime Style LoRA(https://civitai.com/models/61240/nier-automata-anime-style-lora)
*LoRA 정보 : Android 18 人造人間18号(https://civitai.com/models/27862/android-18-18-dragon-ball-z)
*워크플로우:
