SDXL Turbo和LCM带来AI画图的实时生成时代：速度跟打字一样快，图像瞬间呈现

Stability AI在本周二推出了新一代的图像合成模型——Stable Diffusion XL Turbo，这款模型引起了人们的热烈反响。许多人表示，使用该模型进行图像到文本生成变得前所未有的容易

在输入框中输入你的想法，SDXL Turbo 将快速响应并生成相应的内容，无需其他操作。无论你输入的内容增多还是减少，都不会影响它的速度

你可以利用现有的图像，更加精细地完成创作。只需拿一张白纸，告诉 SDXL Turbo 你想要一只白猫，还没打完字，小白猫就已经出现在你手中了

SDXL Turbo 模型的速度达到了近乎「实时」的程度，让人不禁开始畅想：图像生成模型是否可以有其他用途呢

有人直接连着游戏，获得了 2fps 的风格迁移画面：

据官方博客介绍，在 A100 上，SDXL Turbo 可在 207 毫秒内生成 512x512 图像（即时编码 + 单个去噪步骤 + 解码，fp16），其中单个 UNet 前向评估占用了 67 毫秒。

如此，我们可以判断，文生图已经进入「实时」时代。

这样的「即时生成」效率，与前不久爆火的清华 LCM 模型看起来有些相似，但是它们背后的技术内容却有所不同。Stability 在同期发布的一篇研究论文中详细介绍了该模型的内部工作原理。该研究重点提出了一种名为对抗扩散蒸馏（Adversarial Diffusion Distillation，ADD）的技术。SDXL Turbo 声称的优势之一是它与生成对抗网络（GAN）的相似性，特别是在生成单步图像输出方面。

论文地址：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65663480a92fba51d0e1023f/1701197769659/adversarial_diffusion_distillation.pdf

论文细节

简单来说，对抗扩散蒸馏是一种通用方法，可将预训练扩散模型的推理步数量减少到 1-4 个采样步，同时保持高采样保真度，并有可能进一步提高模型的整体性能。 

为此，研究者引入了两个训练目标的组合：（i）对抗损失和（ii）与 SDS 相对应的蒸馏损失。对抗损失迫使模型在每次前向传递时直接生成位于真实图像流形上的样本，避免了其他蒸馏方法中常见的模糊和其他伪影。蒸馏损失使用另一个预训练（且固定）的 扩散模型作为教师，有效利用其广泛知识，并保留在大型扩散模型中观察到的强组合性。在推理过程中，研究者未使用无分类器指导，进一步减少了内存需求。他们保留了模型通过迭代细化来改进结果的能力，这比之前基于 GAN 的单步方法具有优势。

训练步骤如图 2 所示：

表1 展示了消融实验的结果，下列为主要结论：

接下来是与其他 SOTA 模型的对比，此处研究者没有采用自动化指标，而是选择了更加可靠的用户偏好评估方法，目标是评估 prompt 遵循情况和整体图像。

为了比较多个不同的模型变体（StyleGAN-T++、OpenMUSE、IF-XL、SDXL和LCM-XL），实验使用相同的提示生成输出。在盲测中，SDXL Turbo以单步击败LCM-XL的4步配置，并且仅用4步击败SDXL的50步配置。通过这些结果，可以看出SDXL Turbo的性能优于最先进的多步模型，同时计算需求明显降低，而不需要牺牲图像质量

这里呈现的是关于推理速度的ELO分数的可视化图表

在表2中，对使用相同基础模型的不同few-step采样和蒸馏方法进行了比较。结果表明，ADD方法的性能优于所有其他方法，包括8步的标准DPM求解器

作为定量实验结果的补充，论文也展示了部分定性实验结果，展示了 ADD-XL 在初始样本基础上的改进能力。图 3 将 ADD-XL（1 step）与 few-step 方案中当前最佳基线进行了比较。图 4 介绍了 ADD-XL 的迭代采样过程。图 8 将 ADD-XL 与其教师模型 SDXL-Base 进行了直接比较。正如用户研究所示，ADD-XL 在质量和 prompt 对齐方面都优于教师模型。

如欲了解更多的研究细节，请参考原始论文

以上是SDXL Turbo和LCM带来AI画图的实时生成时代：速度跟打字一样快，图像瞬间呈现的详细内容。更多信息请关注PHP中文网其他相关文章！