240704 - ComfyUI, a bit on masks

• 11 November 2024
• comfyui_explanation,
• comfyui_ksampler,
• comfyui_mask

Spis Treści #

1. Background Removal (oraz maski)
2. Dodajmy obiekt (po usunięciu Background na inny rysunek)
3. Naprawiamy rysunek KSamplerami
4. N-krotny KSampler ze steps i Lorą BlackRedWhite i integracją
   1. Substrat - rysunek z którego wychodzimy i LoRA której używamy
   2. Całościowy pipeline
   3. Eksperymenty z ilością kroków startowych
5. Linki powiązane

1. Background Removal #

Jest na to specjalny węzeł:

I działa to mniej więcej tak:

Image Remove Background wybiera "główny" temat i go wydziela. Jeśli nie ma głównego tematu, czasem sobie dobrze nie radzi.

W powyższym rysunku dodałem Empty Latent do Substratu, by zmniejszyć SIŁĘ Latent Space; jakbym tego nie zrobił:

Tu grzyb jest "zbyt podobny" do tła, więc węzeł sobie nie poradził. Inne węzły też nie radzą sobie z tym najlepiej:

Po zastanowieniu, coś z tego grzyba MOŻE być; zobaczmy jak to pójdzie dalej.

2. Dodajmy obiekt (po usunięciu Background na inny rysunek) #

Wpierw spójrzmy na 3 rysunki z którymi pracujemy:

Taki dostajemy efekt:

1. Maska
   1. Wpierw bierzemy grzyba
   2. Usuwamy z niego tło węzłem "Image Background Removal"
   3. Zmieniamy wynik w maskę węzłem "Convert Image to Mask"
   4. Podajemy maskę jako pole MASK w "ImageCompositeMasked"
2. Integracja Rysunków
   1. Bierzemy grzyba i podajemy go jako SOURCE.
   2. Bierzemy fabrykę i podajemy ją jako DESTINATION.
   3. (Czyli nakładamy rysunek grzyba na fabrykę)
   4. Przesuwam grzyba o 80 pikseli w prawo i 20 pikseli w dół

Dzięki temu kompozycja jest dużo lepsza i dużo lepiej to się trzyma kupy.

A potem bierzemy i naprawiamy serią KSamplerów (jak w poprzednim rysunku):

3. Naprawiamy rysunek KSamplerami #

Piter zrobił bardzo fajny rysunek:

Niestety, to jest dobra kompozycja i koncept, ale ma za dużo artefaktów. Naprawmy to jakoś.

Pierwsze podejście:

Najlepszy wynik:

Po zmianie prompta z: "``" na "princess looking at the chessboard, ice, behind droplets, jagged blocks of ice, reflections", plus zmiana cfg z 8 na 16:

4. N-krotny KSampler ze steps i Lorą BlackRedBlood #

4.1. Substrat - rysunek z którego wychodzimy i LoRA której używamy #

Rysunek startowy to dwa rysunki wygenerowane w Midjourney, połączone w jedną całość, zgodnie z pipelinem:

Lora to BRB (Black Red Blood); aktywator "brb style":

• Ma konkretny styl oraz kolory.
• Świetna do testowania.

4.2. Całościowy pipeline #

• Prompt pozytywny: "a radiant biological mushroom altar in an abandoned evil temple, intricate details, shadows and lighting, dark fantasy illustration, impossible architecture, BWB style"
• Prompt negatywny: "text, watermark, copyright"
• KSampler: pięć KSamplerów, 40 iteracji (z różnorodną ilością steps), dpmpp_2m, karras, cfg 16

4.3. Eksperymenty z ilością kroków startowych #

25 steps ("denoise": (40-25)/40 = 37.5%):

• LoRA praktycznie nie działa
• Dwa rysunki substratu nie są "dodane" a zintegrowane

20 steps ("denoise": 50%):

• Kolory się zaczynają zmieniać
• Styl zaczyna się zmieniać

• Styl "należy" do LoRA
• Kolory należą do LoRA

• Kształt grzyba się zmienił na normalny
• Rysunek, kształt itp - zmieniają się z oryginalnego rysunku na skomplikowane rzeczy powiązane z promptem i LoRA

• "Nie ma" oryginału i nawet lokalizacja grzyba jest inna

Czyli najciekawsze są kolory i kształty dookoła "steps 15":

STEPS: 18

STEPS: 17

STEPS: 16

WNIOSEK: [16, 18] kroków w tym wypadku.

4.4. Znajdźmy coś ładnego z seedem #

Innymi słowy, sukces :-).

5. Linki powiązane #

• Introduction to Masking in ComfyUI (Rob Adams)