首頁 >科技週邊 >人工智慧 >與Dreambooth和Lora進行微調穩定的擴散XL

與Dreambooth和Lora進行微調穩定的擴散XL

尊渡假赌尊渡假赌尊渡假赌原創: 2025-03-09 09:55:11645瀏覽

>本教程探索穩定的擴散XL（SDXL）和Dreambooth，演示瞭如何利用圖像生成和模型微調的diffusers庫。我們將使用個人照片微調SDXL並評估結果。鼓勵AI新移民從AI基礎課程開始。 >

理解穩定的擴散xl >

穩定性AI的SDXL 1.0代表了AI文本對圖像生成的顯著飛躍。在僅研究的SDXL 0.9的基礎上，它是最強大的公開圖像創建模型。與其他開源替代方案相比，廣泛的測試證實了其優越的圖像質量。

Fine-tuning Stable Diffusion XL with DreamBooth and LoRA 來自arxiv.org

> >的圖像 這種提高的質量源於兩個模型的合奏：35億個參數基礎發生器和66億個參數煉油廠。這種雙重方法優化了圖像質量，同時保持消費者GPU的效率。 SDXL 1.0簡化了圖像的生成，從簡明提示產生復雜的結果。自定義數據集還精簡，提供了對圖像結構，樣式和構圖的顆粒狀控制。

> Dreambooth：個性化圖像生成

Google的Dreambooth（2022）是生成AI的突破，特別是對於穩定擴散等文本到圖像模型。正如Google的研究人員所描述的那樣：“這就像一個照相亭，但以使其能夠在您的夢想帶到您的任何地方合成的方式捕獲主題。”

來自Dreambooth

>的圖像

Fine-tuning Stable Diffusion XL with DreamBooth and LoRA

> Dreambooth將自定義主題註入模型，為特定人員，對像或場景創建專門的發電機。培訓僅需要幾張（3-5）張圖像。然後，受過訓練的模型將主題置於不同的環境和擺姿勢，僅受想像中的限制。

> Dreambooth應用程序

> Dreambooth的可自定義圖像生成受益於各個領域：

創意產業：

圖形設計，廣告和娛樂活動從其獨特的視覺內容創建功能中受益。

在現實或純粹的虛構設置中創建難以復製或不可能的場景。
生成個性化的教育內容和艾滋病研究，需要視覺代表。
> 可以通過擁抱的面部空間演示訪問SDXL（從提示符生成四個圖像）或python庫，用於自定義提示圖。
>設置和圖像生成diffusers
>
確保可用的GPU可用：
```
!nvidia-smi
```
> install
：diffusers
```
%pip install --upgrade diffusers[torch] -q
```
>加載模型（使用FP16用於GPU存儲器效率）：
>

生成圖像：
```
from diffusers import DiffusionPipeline, AutoencoderKL
import torch

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.to("cuda");
```
>使用輔助功能顯示圖像（在原始功能中提供）：
>
```
prompt = "A man in a spacesuit is running a marathon in the jungle."
image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)
```
```
# ... (image_grid function from original code) ...
image_grid(image.images, 2, 2)
```
改善煉油廠的結果

以提高質量，使用SDXL煉油廠：
```
# ... (refiner loading and processing code from original) ...
```
> autotrain Advanced
微調SDXL Autotrain Advanced簡化了SDXL微調。使用：
安裝它（注意：原始教程使用現已過時的Colab筆記本作為替代方法；這是為了簡潔而省略的。）

Dreambooth微調（刪節）
```
%pip install -U autotrain-advanced
```
然後，該教程在圖像的個人數據集上使用Autotrain Advance的Dreambooth腳本進行了微調SDXL的詳細示例。本節涉及設置變量，創建Kaggle數據集並運行自動輔助腳本。輸出顯示了訓練過程以及由此產生的洛拉（Lora）舉重上傳到擁抱的臉。然後演示使用微調模型的推斷，在各種情況下展示了指定主題的生成圖像。最後，探索了煉油廠與微調模型的使用。由於長度的限制，此詳細的部分在此處顯著凝結。請參閱原始代碼和解釋。

結論

本教程提供了SDXL和Dreambooth的全面概述，展示了它們的功能，並易於使用>

以上是與Dreambooth和Lora進行微調穩定的擴散XL的詳細內容。更多資訊請關注PHP中文網其他相關文章！

Python for while using Length finally function this display stable diffusion prompt Prompt Other

陳述：

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

上一篇：與現代伯特一起增強情感分析下一篇：與現代伯特一起增強情感分析

看更多