Lesson 02 - Text to Image
텍스트 입력으로 이미지 생성하기
쉽게 배우는 ComfyUI 기초
L1 - ComfyUI 소개, 설치
L2 - Text to Image
L3 - Latent Upscaling
L4 - Image to Image Painting
L5 - Image to Image Render_WD14
L6 - Model Switch and Masking
L7 - Live Model Merge
L8 - Using Loras
L9 - ControlNet
L10 - UltimateUpsacle
L11 - Facedetailer
ComfyUI에서 텍스트를 이미지로 변환하는 워크플로에 대한 설명입니다. ControlNet이 추가된 워크플로가 포함되어 있지만, 간단하게 사용하는 방법이 나오니 어렵지 않게 이해할수 있습니다. 해당 Lesson은 WebUI를 기본적으로 활용하여 이미지를 생성 가능하다면 무리없이 이해할수 있습니다.
1.워크플로 설정하기:
ComfyUI를 사용하여 간단하게 워크플로를 설정할수 있습니다. 첨부된 워크플로를 다운로드하여 드래그&드랍으로 ComfyUI에서 끌어다 놓으면 바로 사용 가능합니다.
이미지를 생성하기 위해서는 "KSampler"를 사용하는 것이 포함되며, 이 샘플러에는 4가지의 입력(2.입력 구성하기에서 설명)이 필요합니다.
Download : ReV Animated v2:REBIRTH(https://civitai.com/models/7371/rev-animated?modelVersionId=425083)
Text to Image 워크플로
마우스 더블 클릭하여 체크포인트 모델 노드를 추가합니다.
Load Checkpoint 노드 추가후 모델명을 검색하여 적용합니다.이런식으로 노드들을 추가하고 각 노드의 연결점들을 워크플로처럼 연결을 해주면 됩니다.
각 노드의 연결점은 같은 색으로 표시되며 마우스로 연결하면 됩니다.
노드 연결이 안되어 있으면 알림창이 나오니 잘 찾아서 연결해 주면 됩니다.2.입력 구성하기:
1)체크포인트(AI 모델) : 이미지를 렌더링하는 데 사용되는 AI 모델
체크포인트(AI 모델)2)긍정적 및 부정적 프롬프트 : 생성된 이미지에서 강조(긍정 프롬프트)하거나 피하고자(부정 프롬프트) 하는 특징을 AI에 안내하는 텍스트 입력입니다. 프롬프트는 AI가 사용할수 있는 형식으로 인코딩됩니다. 프롬프트 입력에 따라서 이미지를 생성한다고 보면 됩니다.
긍정 프롬프트
부정 프롬프트긍정 프롬프트 : (best quality:1.2), (masterpiece), (high resolution), 1girl, pale skin, (intricate detailed),simple background,upper body, headshot
부정 프롬프트 : (low quality:1.4), (worst quality:1.4), badhandv4, nsfw, nude, full body
3) VAE : 모델이 더욱 다양하고 고품질의 이미지를 생성 가능
VAE 다운로드 : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
SD1.5에서 기본으로 사용하는 VAE입니다.4)빈 잠재 이미지(Empty Latent Image) : 이미지 생성의 시작점으로 Empty Latent Image사용되는 빈 잠재 이미지로, 해상도 설정(예: 512x768)이 지정됩니다. SD 1.5(스테이블 디퓨전)의 모델은 대부분 이미지 학습을 512x768로 학습하였기 때문에 512x768의 해상도로 출력하는게 이미지의 품질이 가장 좋습니다.
Empty Latent Image3.이미지 생성 및 저장하기:
프롬프트 입력을 설정한 후, 워크플로를 실행하여 이미지를 생성할 수 있습니다. 출력은 잠재 데이터(latent image)로 시작하여, VAE(모델이 더욱 다양하고 고품질의 이미지를 생성 가능) 디코더를 사용하여 픽셀 이미지로 디코딩됩니다. VAE는 이미지 생성후 후보정을 하는 노드라고 보시면 됩니다.
이미지를 preview(미리보기)하거나 저장(save image)할 수 있습니다. 여러 이미지를 한 번에 생성하기 위해 배치 크기 및 렌더링 단계와 같은 추가 설정을 구성할 수 있습니다.
모델을 load하고 프롬프트를 샘플러로 전달 VAE를 통해서 후보정후 이미지를 preview 와 save image 노드로 전달되게 됩니다.4.고급 기능:
튜토리얼은 배치 처리(여러 이미지 렌더링) 및 "ControlNet" 전처리기를 사용하여 이미지의 조명과 깊이를 조정하는 등의 고급 기능을 설명합니다. 이를 통해 출력물에 더 많은 창의성과 제어를 추가할 수 있습니다.
서로 다른 프롬프트나 조명 조건을 가진 이미지의 여러 버전을 생성하는 워크플로를 만들 수 있습니다.
ControlNet은 Lesson 09에서 심도있게 다루게 됩니다.
Download : DreamShaper 8(https://civitai.com/models/4384/dreamshaper)
ControlNet을 사용하여 다양한 종류로 이미지 출력이 가능합니다.5.실용적인 응용:
튜토리얼에서는 동일한 구성의 이미지를 다양한 인종이나 환경으로 생성하는 것과 같은 실용적인 응용 사례등을 생성할수 있습니다.
이는 다양한 콘텐츠 전략 활용에 유용합니다. (DreamShaper 8 모델로 생성)
다양한 인종 프롬프트 : (best quality:1.2), (masterpiece), (high resolution), white shirt, beautiful white american woman , (intricate detailed),simple background,upper body, headshot
풍경 프롬프트 : mountain landscape, at night, dark night with stars, digital painting, masterpiece
6.팁과 트릭:
요소 재배치, 반복 사용을 위한 노드 복사 및 붙여넣기, 다양한 유형의 이미지에 적합한 모델 및 설정 선택 등 워크플로 최적화를 위한 다양한 팁들을 설명하였습니다.
초보자부터 AI 기반 이미지 생성에 익숙한 사용자 모두를 위한 ComfyUI에서 텍스트를 이미지로 변환하는 워크플로를 구축하고 최적화하는 방법을 기본 설정부터 고급 사용자 맞춤화까지 종합적으로 안내할 예정입니다.
참고 자료
*ChatGPT를 사용하여 쉽게 프롬프트 생성 - SD 프롬프트 생성기(https://chatgpt.com/g/g-fCvWBSx8x-sd-peurompeuteu-saengseonggi)
*Stable Diffusion Prompt Generator (https://huggingface.co/spaces/Gustavosta/MagicPrompt-Stable-Diffusion)
*VAE 다운로드 : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
*DreamShaper 8(https://civitai.com/models/4384/dreamshaper)
*ReV Animated v2:REBIRTH(https://civitai.com/models/7371/rev-animated?modelVersionId=425083)
