與Dreambooth和Lora進行微調穩定的擴散XL

>本教程探索穩定的擴散XL（SDXL）和Dreambooth，演示瞭如何利用圖像生成和模型微調的diffusers庫。 我們將使用個人照片微調SDXL並評估結果。 鼓勵AI新移民從AI基礎課程開始。 >

理解穩定的擴散xl >

穩定性AI的SDXL 1.0代表了AI文本對圖像生成的顯著飛躍。 在僅研究的SDXL 0.9的基礎上，它是最強大的公開圖像創建模型。 與其他開源替代方案相比，廣泛的測試證實了其優越的圖像質量。

>

來自arxiv.org

> >的圖像 這種提高的質量源於兩個模型的合奏：35億個參數基礎發生器和66億個參數煉油廠。這種雙重方法優化了圖像質量，同時保持消費者GPU的效率。 SDXL 1.0簡化了圖像的生成，從簡明提示產生復雜的結果。 自定義數據集還精簡，提供了對圖像結構，樣式和構圖的顆粒狀控制。

> Dreambooth：個性化圖像生成

Google的Dreambooth（2022）是生成AI的突破，特別是對於穩定擴散等文本到圖像模型。 正如Google的研究人員所描述的那樣：“這就像一個照相亭，但以使其能夠在您的夢想帶到您的任何地方合成的方式捕獲主題。”

來自Dreambooth

>的圖像

> Dreambooth將自定義主題註入模型，為特定人員，對像或場景創建專門的發電機。 培訓僅需要幾張（3-5）張圖像。 然後，受過訓練的模型將主題置於不同的環境和擺姿勢，僅受想像中的限制。

> Dreambooth應用程序

> Dreambooth的可自定義圖像生成受益於各個領域：

創意產業：

圖形設計，廣告和娛樂活動從其獨特的視覺內容創建功能中受益。

個性化：
1. 在現實或純粹的虛構設置中創建難以復製或不可能的場景。
教育與研究：
2. 生成個性化的教育內容和艾滋病研究，需要視覺代表。
訪問穩定的擴散xl
3. > 可以通過擁抱的面部空間演示訪問SDXL（從提示符生成四個圖像）或python庫，用於自定義提示圖。

   >設置和圖像生成diffusers

   >

   確保可用的GPU可用：

   !nvidia-smi

   

   > install

   ：diffusers

   %pip install --upgrade diffusers[torch] -q

   >加載模型（使用FP16用於GPU存儲器效率）：>
   生成圖像：

   from diffusers import DiffusionPipeline, AutoencoderKL
   import torch
   
   vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
   pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
   pipe.to("cuda");

   >使用輔助功能顯示圖像（在原始功能中提供）：>

   prompt = "A man in a spacesuit is running a marathon in the jungle."
   image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)

   # ... (image_grid function from original code) ...
   image_grid(image.images, 2, 2)

   改善煉油廠的結果

   以提高質量，使用SDXL煉油廠：

   # ... (refiner loading and processing code from original) ...

   > autotrain Advanced

   微調SDXL Autotrain Advanced簡化了SDXL微調。 使用：

   安裝它 （注意：原始教程使用現已過時的Colab筆記本作為替代方法；這是為了簡潔而省略的。）

   Dreambooth微調（刪節）

   %pip install -U autotrain-advanced

   然後，該教程在圖像的個人數據集上使用Autotrain Advance的Dreambooth腳本進行了微調SDXL的詳細示例。本節涉及設置變量，創建Kaggle數據集並運行自動輔助腳本。 輸出顯示了訓練過程以及由此產生的洛拉（Lora）舉重上傳到擁抱的臉。 然後演示使用微調模型的推斷，在各種情況下展示了指定主題的生成圖像。 最後，探索了煉油廠與微調模型的使用。 由於長度的限制，此詳細的部分在此處顯著凝結。 請參閱原始代碼和解釋。

   結論

   本教程提供了SDXL和Dreambooth的全面概述，展示了它們的功能，並易於使用>

以上是與Dreambooth和Lora進行微調穩定的擴散XL的詳細內容。更多資訊請關注PHP中文網其他相關文章！