Stable Diffusion 3技術報告流出，Sora架構再立大功！生圖圈開源暴打Midjourney和DALL·E 3？

Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。

论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！

报告地址：

https://www.php.cn/link/e5fb88b398b042f6cccce46bf3fa53e8

通过人类评价测试，Stable Diffusion 3在字体设计和对提示的精准响应方面，超过了DALL·E 3、Midjourney v6和Ideogram v1。

Stability AI最新开发的多模态扩散Transformer（MMDiT）架构，使用了专门针对图像和语言表示的独立权重集。与SD 3的早期版本相比，MMDiT在文本理解和拼写方面取得了显著的提升。

性能评估

在人类反馈的基础之上，技术报告将SD 3于大量开源模型SDXL、SDXL Turbo、Stable Cascade、Playground v2.5 和 Pixart-α，以及闭源模型DALL·E 3、Midjourney v6 和 Ideogram v1进行了详细的对比评估。

评估员根据指定提示的一致性、文本的清晰度和图像的整体美观性来选择每个模型的最佳输出。

测试结果显示，无论是在遵循提示的准确性、文本的清晰呈现还是图像的视觉美感方面，Stable Diffusion 3都达到或超过了当前文生图生成技术的最高水平。

完全没有针对硬件进行过优化的SD 3模型具有8B参数，能够在24GB显存的RTX 4090消费级GPU上运行，并且在使用50个采样步骤的情况下，生成1024x1024分辨率的图像需耗时34秒。

此外，Stable Diffusion 3在发布时将提供多个版本，参数范围从8亿到80亿，从而能以进一步降低使用的硬件门槛。

架构细节曝光

在文生图的过程中，模型需同时处理文本和图像这两种不同的信息。所以作者将这个新框架称之为MMDiT。

在文本到图像生成的过程中，模型需同时处理文本和图像这两种不同的信息类型。这就是作者将这种新技术称为MMDiT（多模态Diffusion Transformer的简称）的原因。

与Stable Diffusion之前的版本一样，SD 3采用了预训练模型来提取适合的文本和图像的表达形式。

具体而言，他们利用了三种不同的文本编码器——两个CLIP模型和一个T5 ——来处理文本信息，同时使用了一个更为先进的自编码模型来处理图像信息。

SD 3的架构是在Diffusion Transformer（DiT）的基础上建立的。由于文本和图像信息的差异，SD 3为这两种信息各自设置了独立的权重。

這個設計相當於為每種資訊類型配備了兩個獨立的Transformer，但在執行注意力機制時，會將兩種資訊的資料序列合併，這樣就可以在各自的領域內獨立工作的同時，能保持夠相互參考與融合。

透過這種獨特的構架，圖像和文字訊息之間可以相互流動和交互，從而在生成的結果中提高對內容的整體理解和視覺表現。

而且，這種架構未來還可以輕鬆擴展到其他包括影片在內的多種模態。

得益於SD 3在遵循提示方面的進步，模型能夠精確產生集中於多種不同主題和特性的圖像，同時在圖像風格上也保持了極高的靈活性。

透過重賦權法改進Rectified Flow

除了推出的全新Diffusion Transformer架構之外，SD 3對於Diffusion模型也進行了重大的改進。

SD 3採用了Rectified Flow（RF）策略，將訓練資料和雜訊沿著直線軌跡連接起來。

這種方法讓模型的推理路徑更直接，因此可以透過更少的步驟完成樣本的生成。

作者在訓練流程中引入了一種創新的軌跡取樣計劃，特別增加了對軌跡中間部分的權重，這些部分的預測任務更具挑戰性。

透過與其他60種擴散軌跡（例如LDM、EDM 和ADM）進行比較，作者發現儘管先前的RF方法在少步驟採樣中表現更佳，但隨著採樣步驟增多，效能會慢慢下降。

為了避免這種情況的出現，作者提出的加權RF方法，就能夠持續提升模型效能。

擴充RF Transformer模型

Stability AI訓練了多個不同規模的模型，從15 個模組、450M參數到38個模組、8B參數，發現模型大小和訓練步驟都能平滑地降低驗證損失。

為了驗證這是否意味著模型輸出有實質的改進，他們也評估了自動影像對齊指標和人類偏好評分。

結果表明，這些評估指標與驗證損失強相關，說明驗證損失是衡量模型整體表現的有效指標。

此外，這種擴展趨勢沒有達到飽和點，讓我們對未來能夠進一步提升模型效能持樂觀態度。

作者在256 *256像素解析度下，在4096的批次大小下，用不同參數數對模型進行了500k步驟訓練。

上圖說明了長時間訓練較大模型對樣本品質的影響。

上表顯示了GenEval的結果。當使用作者提出的訓練方法並提高訓練影像的解析度時，最大的模型在大多數類別中都表現出色，在總分上超過了 DALL·E 3。

根據作者對不同架構模型的測試對比，MMDiT效果非常好，超過了DiT，Cross DiT，UViT，MM-DiT。

靈活的文字編碼器

#透過在推理階段移除佔用大量記憶體的4.7B參數的T5文字編碼器， SD 3的記憶體需求大幅降低，而效能損失微乎其微。

移除這個文字編碼器不會影響影像的視覺美感（不使用T5的勝率為50%），只會略微降低文字的準確遵循能力（勝率為46%） 。

然而，為了充分發揮SD 3在生成文字的能力，作者還是建議使用T5編碼器。

因為作者發現在沒有它的情況下，排版產生文字的表現會有更大的下降（勝率為 38%）。

網友熱議

網友們對Stability AI不斷撩撥用戶但是不讓用的行為顯得有些不耐煩了，紛紛催促趕快上線讓大家使用。

看了技術報考後，網友說看來現在生圖圈要成第一個開源碾壓閉源的賽道了！

以上是Stable Diffusion 3技術報告流出，Sora架構再立大功！生圖圈開源暴打Midjourney和DALL·E 3？的詳細內容。更多資訊請關注PHP中文網其他相關文章！