与Dreambooth和Lora进行微调稳定的扩散XL

>本教程探索稳定的扩散XL（SDXL）和Dreambooth，演示了如何利用图像生成和模型微调的diffusers库。 我们将使用个人照片微调SDXL并评估结果。 鼓励AI新移民从AI基础课程开始。>

理解稳定的扩散xl >

稳定性AI的SDXL 1.0代表了AI文本对图像生成的显着飞跃。 在仅研究的SDXL 0.9的基础上，它是最强大的公开图像创建模型。 与其他开源替代方案相比，广泛的测试证实了其优越的图像质量。

>

来自arxiv.org

> >的图像 这种提高的质量源于两个模型的合奏：35亿个参数基础发生器和66亿个参数炼油厂。这种双重方法优化了图像质量，同时保持消费者GPU的效率。 SDXL 1.0简化了图像的生成，从简明提示产生复杂的结果。 自定义数据集还精简，提供了对图像结构，样式和构图的颗粒状控制。

> Dreambooth：个性化图像生成

Google的Dreambooth（2022）是生成AI的突破，特别是对于稳定扩散等文本到图像模型。 正如Google的研究人员所描述的那样：“这就像一个照相亭，但以使其能够在您的梦想带到您的任何地方合成的方式捕获主题。”

来自Dreambooth

>的图像

> Dreambooth将自定义主题注入模型，为特定人员，对象或场景创建专门的发电机。 培训仅需要几张（3-5）张图像。 然后，受过训练的模型将主题置于不同的环境和摆姿势，仅受想象中的限制。

> Dreambooth应用程序

> Dreambooth的可自定义图像生成受益于各个领域：

创意产业：

图形设计，广告和娱乐活动从其独特的视觉内容创建功能中受益。

个性化：
1. 在现实或纯粹的虚构设置中创建难以复制或不可能的场景。
教育与研究：
2. 生成个性化的教育内容和艾滋病研究，需要视觉代表。
访问稳定的扩散xl
3. > 可以通过拥抱的面部空间演示访问SDXL（从提示符生成四个图像）或python库，用于自定义提示图。

   >设置和图像生成diffusers

   >

   确保可用的GPU可用：

   !nvidia-smi

   

   > install

   ：diffusers

   %pip install --upgrade diffusers[torch] -q

   >加载模型（使用FP16用于GPU存储器效率）：>
   生成图像：

   from diffusers import DiffusionPipeline, AutoencoderKL
   import torch
   
   vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
   pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
   pipe.to("cuda");

   >使用辅助功能显示图像（在原始功能中提供）：>

   prompt = "A man in a spacesuit is running a marathon in the jungle."
   image = pipe(prompt=prompt, num_inference_steps=25, num_images_per_prompt=4)

   # ... (image_grid function from original code) ...
   image_grid(image.images, 2, 2)

   改善炼油厂的结果

   以提高质量，使用SDXL炼油厂：

   # ... (refiner loading and processing code from original) ...

   > autotrain Advanced

   微调SDXL Autotrain Advanced简化了SDXL微调。 使用：

   安装它 （注意：原始教程使用现已过时的Colab笔记本作为替代方法；这是为了简洁而省略的。）

   Dreambooth微调（删节）

   %pip install -U autotrain-advanced

   然后，该教程在图像的个人数据集上使用Autotrain Advance的Dreambooth脚本进行了微调SDXL的详细示例。本节涉及设置变量，创建Kaggle数据集并运行自动辅助脚本。 输出显示了训练过程以及由此产生的洛拉（Lora）举重上传到拥抱的脸。 然后演示使用微调模型的推断，在各种情况下展示了指定主题的生成图像。 最后，探索了炼油厂与微调模型的使用。 由于长度的限制，此详细的部分在此处显着凝结。 请参阅原始代码和解释。

   结论

   本教程提供了SDXL和Dreambooth的全面概述，展示了它们的功能，并易于使用>

以上是与Dreambooth和Lora进行微调稳定的扩散XL的详细内容。更多信息请关注PHP中文网其他相关文章！