騰訊混元發布開源加速庫，生圖時間縮短75%
- WBOY原創
- 2024-06-08 12:12:111162瀏覽
6月8日，騰訊發布針對騰訊混元文產生圖開源大模型（簡稱為混元DiT模型）的加速函式庫，讓推理效率大幅提升，生圖時間縮短75% 。
混元DiT模型的使用門檻也大幅降低。 使用者可以基於ComfyUI的圖形化介面，使用騰訊混元文生圖模型能力。同時，混元DiT模型已部署至Hugging Face Diffusers通用模型庫中，使用者僅用三行程式碼即可呼叫混元DiT模型，無需下載原始程式碼庫。
先前，騰訊宣布推出的混元文生成大模型全面升級並對外開源，可供企業與個人開發者免費商用。這是業界首個中文原生的DiT架構文生成圖開源模型，支援中英文雙語輸入與理解；採用了與Sora一致的DiT架構，不僅可支援文生成，也可作為影片等多模態視覺生成的基礎。
騰訊混元DiT模型開源之後，受到了許多社區開發者的認可。 開源不到一個月，專案Github Star數字就超過2100，位於開源社群熱門DiT模式前列。
混元DiT Github頁面
為了提升開發者使用體驗，騰訊混元官方上線了專屬的加速庫，讓推理時間縮短了75%，提高大模型運作效率。開發者透過Hugging Face即可下載此推理加速工具。
專案組透過知識蒸餾與TensorRT高效能推理框架，實現了DiT模型的取樣步數壓縮與高效推理部署。蒸餾主要指降低擴散模型迭代的步數實現加速。模型整體結構和參數量不變，使用者在無需任何額外的操作和設備要求下使用蒸餾權重，即可降低50%迭代步數，實現耗時減半。 TensorRT推理加速方案透過工程最佳化，可以進一步降低耗時，並且和模型權重解耦。同時使用兩者進行推理部署，可將推理時間縮短75%。
使用者可以直接使用ComfyUI的圖形化介面來基於其最新消息利用社群的共同努力。同時，透過與Hugging Face團隊合作，混合DiT模型已經部署到Hugging Face官方模型庫Diffusers中，並重新調整了該模型庫的使用和生成程式碼，用戶可以直接透過該途徑調用混合DiT模型，大大簡化了用戶使用的成本。
ComfyUI是一款文生圖領域的WebUI介面設計，它將文生圖領域的擴散演算法模組化與圖形化，提升了生成效率與資源利用率，也大幅降低了開發者的使用門檻。使用者可以透過影像化工作流程使用混元DiT文生圖模型，實現與官方模型相同的效果。
混元DiT文生圖模型的ComfyUI使用介面
此外，圍繞ComfyUI的使用生態，還衍生出強大的開源社群。混元DiT對ComfyUI的支持，也能讓社群的成員體驗基於最新DiT架構的文生圖模型。
作為知名的AI開源社區，Hugging Face的Diffusers是目前調用各種主流文生圖大模型的通用庫，已經成為當今文生圖大模型使用的社區標準。
將混元DiT模式適配進Hugging Face Diffusers，可以大幅提升模式的易用性和使用者基礎。使用者無需將原始程式碼庫下載與部署到自身環境，安裝了Diffusers庫的開發者，只需執行幾行程式碼，即可呼叫混元DiT模型，配置與呼叫都十分方便。同時，Hugging Face與騰訊混元團隊共同優化演算法框架，加快了圖片的產生速度。
此舉也相當於為所有後續基於混元DiT的使用和開發提供了底層支持，覆蓋各種需要調用混元DiT的任何場景，包括上述的ComfyUI方式。同時對開發者而言，先前配置好的基於Diffusers的工作流程和外掛程式可以在少量修改的情況下直接用於混元DiT。
騰訊文生圖負責人蘆清林表示：「騰訊混元文生圖模型開源之後得到了眾多開發者的支持與回饋，我們十分高興，也同時在針對開發者的回饋與社群一起完善優化以混元DiT為基礎的開源生態，讓更多開發者能更方便地享受最新的研究成果。模型產業加速發展。 附騰訊混元文生圖開源大模型（混元DiT模型）專案連結 ##官網：https://www.php.cn/link/35817bda28b111aa49bd8fdf61878246 #程式碼：https://www.php.cn/link/bb4b90201e39e55c4a9ccfec8436cfb8
以上是騰訊混元發布開源加速庫，生圖時間縮短75%的詳細內容。更多資訊請關注PHP中文網其他相關文章！