騰訊混元文生圖大模型開源訓練程式碼，發布LoRA與ControlNet插件

6月21日，騰訊混元文生圖大模型（以下簡稱為混T模型）宣布全面開源訓練程式碼，同時對外開源混元DiT LoRA 小規模資料集訓練方案與可控制外掛程式ControlNet。

這意味著，全球的企業與個人開發者、創作者們，都可以基於混元DiT訓練程式碼進行精調，創造更具個人化的專屬模型，進行更大自由度的創作；或基於混元DiT的程式碼進行修改和最佳化，基於此建置自身應用，推動技術的快速迭代和創新。

作為中文原生模型，使用者在透過混元DiT的訓練程式碼進行精調時，可以直接使用中文的資料與標籤，無需再將資料翻譯成英文。

先前，騰訊混元文生圖大模型宣布全面升級並對外開源，已在 Hugging Face 平台及 Github 上發布，可供企業與個人開發者免費商用。這是業界首個中文原生的DiT架構文生圖開源模型，支援中英文雙語輸入及理解。模型開源僅一個月，Github Star數達到2.4k，位於開源社群熱門DiT模型前列。

 混元DiT Github專案頁面

在開源訓練程式碼的同時， LoRA小規模資料集訓練方案與可控制外掛ControlNet的發布也讓混元DiT模型的開源生態更具想像力。

LoRA模型，全名為Low-Rank Adaptation of Large Language Models，是一種用於微調大型語言模型的技術。在文生圖模型中，LoRA被用作一種插件，允許使用者在不修改原有模型與增加模型大小的情況下，利用少量資料訓練出具有特定畫風、IP或人物特徵的模型。

LoRA技術在文生圖開源領域十分受歡迎，大量的創作者利用這種技術創造出多種多樣的模型，例如使用幾張個人照片，生成一個專屬於某個人的高精度照相館；或創造出盲盒、黏土等風格模型。

AI圖像社群LiblibAI上的LoRA模型

混元DiT本次發布的專屬LoRA插件，支援開發者最少僅需一張圖即可創作出專屬的模型。例如，導入四張青花瓷圖片與對應的提示詞，即可完成模型訓練，創建了一個「青花瓷」生成模型：使用者輸入簡單提示詞，即可產生想要的青花瓷圖像。

部分訓練資料：

 訓練後模型的推理結果範例：

使用混元ControlT LoRA訓練的青花瓷生成模型。種應用於文生圖領域的可控化生成演算法，它允許用戶透過添加額外條件來更好地控製影像的生成。

目前，騰訊混元提供了能提取與應用影像的邊緣（canny）、深度（depth）、人體姿勢（pose）等條件的三個首發ControlNet模型，讓開發者直接使用其進行推理。這三個ControlNet插件能實現透過線稿產生全彩圖、產生具有相同深度結構的圖、產生具有同樣姿態的人等能力。同時，混元DiT也開源了ControlNet的訓練方案，開發者與創作者可以訓練自訂的ControlNet模型。

騰訊混元DiT上線的三個ControlNet插件效果演示

自混元DiT模型開源以來，得到了眾多開發者的支持和反饋，騰訊混元團隊也一直在持續完善和優化基於混元DiT的開源元件，與產業共建下一代視覺生成開源生態。本月初，混元DiT發布的專屬加速庫，可將推理效率進一步提升，生圖時間縮短75%。同時模型易用性大幅提升，使用者可以基於ComfyUI的圖形化介面，使用混元DiT，或透過Hugging Face Diffusers通用模型庫，僅用三行程式碼即可呼叫混元DiT模型，無需下載原始程式碼庫。

據了解，騰訊混元文生圖能力已廣泛被用於素材創作、商品合成、遊戲出圖等多項業務及場景中。今年初，騰訊廣告基於騰訊混元大模型發布了一站式AI廣告創意平台騰訊廣告妙思。 《中視新聞》《新華日報》等20餘家媒體也已經將騰訊混元文生圖用於新聞內容生產。

騰訊混元開源文生圖大模型

Official website: https://dit.hunyuan.tencent.com/

Code: https://github.com/Tencent/HunyuanDiT

Model: https://huggingface.co/Tencent-Hunyuan/HunyuanDiT

Paper : https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf

Data production process: https://github.com/Tencent/HunyuanDiT/blob/main/IndexKits/docs/MakeDataset.md

以上是騰訊混元文生圖大模型開源訓練程式碼，發布LoRA與ControlNet插件的詳細內容。更多資訊請關注PHP中文網其他相關文章！