Penyebaran stabil yang stabil XL dengan Dreambooth dan lora

Tutorial ini meneroka Penyebaran Stabil XL (SDXL) dan DreamBooth, menunjukkan cara memanfaatkan perpustakaan diffusers untuk penjanaan imej dan model penalaan halus. Kami akan menyempurnakan SDXL menggunakan foto peribadi dan menilai hasilnya. Pendatang baru AI digalakkan untuk memulakan dengan kursus asas AI.

Memahami Penyebaran Stabil XL

Kestabilan AI's SDXL 1.0 mewakili lompatan yang ketara dalam generasi teks-ke-imej AI. Membina SDXL 0.9 sahaja, kini merupakan model penciptaan imej yang paling kuat. Ujian luas mengesahkan kualiti imej yang unggul berbanding dengan alternatif sumber terbuka yang lain.

imej dari arxiv.org

Kualiti yang lebih baik ini berpunca daripada ensemble dua model: penjana asas parameter 3.5 bilion dan penapis parameter 6.6 bilion. Pendekatan dua ini mengoptimumkan kualiti imej sambil mengekalkan kecekapan untuk GPU pengguna. SDXL 1.0 memudahkan penjanaan imej, menghasilkan hasil yang rumit daripada arahan ringkas. Penalaan Fine Dataset Custom juga diselaraskan, menawarkan kawalan berbutir ke atas struktur imej, gaya, dan komposisi.

DreamBooth: Generasi imej yang diperibadikan

Dreambooth Google (2022) adalah satu kejayaan dalam AI generatif, terutamanya untuk model teks-ke-imej seperti penyebaran stabil. Seperti yang dikatakan penyelidik Google: "Ia seperti gerai foto tetapi menangkap subjek dengan cara yang membolehkannya disintesis di mana sahaja impian anda membawa anda."

imej dari DreamBooth

DreamBooth menyuntik subjek tersuai ke dalam model, mewujudkan penjana khusus untuk orang, objek, atau adegan tertentu. Latihan hanya memerlukan beberapa imej (3-5). Model terlatih kemudian meletakkan subjek dalam pelbagai tetapan dan pose, hanya terhad oleh imaginasi.

Aplikasi DreamBooth

Generasi Imej Dreambooth yang Disesuaikan Manfaat Pelbagai Bidang:

Industri Kreatif:

Reka Bentuk Grafik, Pengiklanan, dan Hiburan Manfaat dari Keupayaan Penciptaan Kandungan Visual yang unik.
1. Peribadi:
mencipta senario sukar atau mustahil untuk ditiru dalam realiti atau tetapan fiksyen semata -mata.
2. Pendidikan & Penyelidikan:
Menjana Kandungan Pendidikan Peribadi dan Penyelidikan AIDS yang memerlukan perwakilan visual.
Mengakses Penyebaran Stabil XL

SDXL boleh diakses melalui Demo Ruang Pakaian Mendging (menghasilkan empat imej dari prompt) atau perpustakaan python untuk generasi imej custom.

Persediaan dan penjanaan imej

dengan diffusers

Pastikan GPU yang dibolehkan CUDA tersedia:

!nvidia-smi

Pasang

: diffusers

%pip install --upgrade diffusers[torch] -q

Muatkan model (menggunakan FP16 untuk kecekapan memori GPU):

from diffusers import DiffusionPipeline, AutoencoderKL
import torch

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.to("cuda");

Menjana imej:

prompt = "A man in a spacesuit is running a marathon in the jungle."
image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)

memaparkan imej menggunakan fungsi penolong (disediakan dalam asal):

# ... (image_grid function from original code) ...
image_grid(image.images, 2, 2)

Meningkatkan hasil dengan Refiner

Untuk kualiti yang dipertingkatkan, gunakan penapis SDXL:

# ... (refiner loading and processing code from original) ...

sdxl penalaan halus dengan autotrain maju

Autotrain Advanced memudahkan SDXL Fine-penalaan. Pasangnya menggunakan:

(Nota: Tutorial asal menggunakan notebook Colab yang sudah lapuk sekarang untuk kaedah alternatif; ini ditinggalkan untuk keringkasan.)

%pip install -U autotrain-advanced

DreamBooth Fine-penalaan (ringkas)

Tutorial kemudian diteruskan dengan contoh terperinci SDXL penalaan yang baik menggunakan skrip Dreambooth Autotrain Advanced pada dataset peribadi imej. Bahagian ini melibatkan penubuhan pembolehubah, mewujudkan dataset Kaggle, dan menjalankan skrip autotrain. Output menunjukkan proses latihan dan berat LORA yang dihasilkan dimuat naik untuk memeluk muka. Kesimpulan dengan model yang disempurnakan kemudian ditunjukkan, mempamerkan imej yang dihasilkan dari subjek yang ditentukan dalam pelbagai senario. Akhirnya, penggunaan penapis dengan model halus diterokai. Oleh kerana kekangan panjang, seksyen terperinci ini dipendekkan dengan ketara di sini. Rujuk asal untuk kod lengkap dan penjelasan.

Kesimpulan

Tutorial ini memberikan gambaran menyeluruh mengenai SDXL dan DreamBooth, mempamerkan keupayaan mereka dan kemudahan penggunaan dengan perpustakaan

dan autotrain maju. Proses penalaan halus menunjukkan kuasa penjanaan imej yang diperibadikan, menonjolkan kedua-dua kejayaan dan bidang untuk penerokaan lanjut (seperti interaksi penapis dengan model yang disempurnakan). Tutorial ini disimpulkan dengan cadangan untuk pembelajaran selanjutnya dalam bidang AI.

Atas ialah kandungan terperinci Penyebaran stabil yang stabil XL dengan Dreambooth dan lora. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!