Tencent Hunyuan veröffentlicht eine Open-Source-Beschleunigungsbibliothek, die die Bildgenerierungszeit um 75 % verkürzt

Am 8. Juni veröffentlichte Tencent eine Beschleunigungsbibliothek für das große Open-Source-Modell des Tencent Hunyuan-Textgenerierungsdiagramms (als Hunyuan DiT-Modell bezeichnet), das die Inferenzeffizienz erheblich verbesserte und die Diagrammgenerierungszeit um 75 % verkürzte.

Die Schwelle zur Nutzung des Hunyuan DiT-Modells wurde ebenfalls stark gesenkt. Benutzer können die Grafikmodellfunktionen von Tencent Hunyuan Wensheng basierend auf der grafischen Oberfläche von ComfyUI nutzen. Gleichzeitig wurde das Hunyuan DiT-Modell in der allgemeinen Modellbibliothek von Hugging Face Diffusers bereitgestellt. Benutzer können das Hunyuan DiT-Modell mit nur drei Codezeilen aufrufen, ohne die ursprüngliche Codebibliothek herunterzuladen.

Zuvor gab Tencent bekannt, dass das groß angelegte Hunyuan-Textgenerierungsmodell vollständig aktualisiert und als Open Source verfügbar ist und von Unternehmen und einzelnen Entwicklern für die kostenlose kommerzielle Nutzung genutzt werden kann. Dies ist das branchenweit erste Open-Source-Modell für die Textgenerierung von DiT-Architekturen mit chinesischer Sprache. Es unterstützt die zweisprachige Eingabe und das Verständnis von Chinesisch und Englisch und verwendet dieselbe DiT-Architektur wie Sora. modales visuelles Generierungsmodell wie Video Base. Das

Tencent HunyuanDiT-ModellOpen Source wurde von vielen Community-Entwicklern anerkannt. In weniger als einem Monat hat die Github-Star-Anzahl des Projekts 2100 überschritten und zählt damit zu den beliebtesten DiT-Modellen in der Open-Source-Community

.

Hunyuan DiT Github-Seite

Um die Entwicklererfahrung zu verbessern, hat Tencent Hunyuan offiziell eine spezielle Beschleunigungsbibliothek eingeführt, die die Inferenzzeit um 75 % verkürzt und die Effizienz des Betriebs großer Modelle verbessert . Entwickler können das Inferenzbeschleunigungstool über Hugging Face herunterladen. Das

-Projektteam erreichte durch Wissensdestillation und das TensorRT-Hochleistungs-Inferenzframework eine Sampling-Schrittkomprimierung und eine effiziente Inferenzbereitstellung des Di

T-Modells. Unter Destillation versteht man hauptsächlich die Reduzierung der Anzahl der Iterationsschritte des Diffusionsmodells, um eine Beschleunigung zu erreichen. Die Gesamtstruktur und die Parametermenge des Modells bleiben unverändert, indem Benutzer Destillationsgewichte verwenden, ohne dass zusätzliche Vorgänge und Ausrüstungsanforderungen erforderlich sind, und der Zeitaufwand kann halbiert werden. Die TensorRT-Inferenzbeschleunigungslösung kann den Zeitverbrauch durch technische Optimierung weiter reduzieren und ist von Modellgewichten entkoppelt. Durch die gleichzeitige Verwendung beider Methoden für die Inferenzbereitstellung kann die Inferenzzeit um 75 % verkürzt werden.

Benutzer können die grafische Benutzeroberfläche von ComfyUI direkt nutzen, um die gemeinsamen Bemühungen der Community basierend auf den neuesten Nachrichten zu nutzen. Gleichzeitig wurde durch die Zusammenarbeit mit dem Hugging Face-Team das hybride DiT-Modell in den Diffusoren der offiziellen Hugging Face-Modellbibliothek bereitgestellt und der Verwendungs- und Generierungscode der Modellbibliothek neu angepasst Hybrid-DiT-Modell über diesen Kanal, was die Kosten für die Benutzernutzung erheblich vereinfacht.

ComfyUI ist ein WebUI-Schnittstellendesign im Bereich der vinzentinischen Graphen. Es modularisiert und grafisch den Diffusionsalgorithmus im Bereich der vinzentinischen Graphen, verbessert die Generierungseffizienz und Ressourcennutzung und reduziert außerdem die Nutzungsschwelle für Entwickler erheblich. Benutzer können das Hunyuan DiT Wensheng-Grafikmodell über einen grafischen Workflow verwenden, um den gleichen Effekt wie das offizielle Modell zu erzielen.

Die ComfyUI-Benutzeroberfläche des Hunyuan DiT Vincent-Grafikmodells

Darüber hinaus ist rund um die Nutzungsökologie von ComfyUI eine starke Open-Source-Community entstanden. Die Unterstützung von Hunyuan DiT für ComfyUI ermöglicht es Community-Mitgliedern auch, das Vincentian-Graph-Modell auf Basis der neuesten DiT-Architektur zu erleben.

Als bekannte KI-Open-Source-Community ist Hugging Face's Diffusers derzeit eine universelle Bibliothek zum Aufrufen verschiedener gängiger großer vinzentinischer Graphenmodelle und ist heute zum Community-Standard für die Verwendung großer vincentianischer Graphenmodelle geworden.

Die Anpassung des Hugging DiT-Modells an Hugging Face Diffusers kann die Benutzerfreundlichkeit und Benutzerbasis des Modells erheblich verbessern. Benutzer müssen die ursprüngliche Codebibliothek nicht herunterladen und in ihrer eigenen Umgebung bereitstellen. Entwickler, die die Diffusers-Bibliothek installiert haben, müssen nur ein paar Codezeilen ausführen, um das Hunyuan DiT-Modell aufzurufen, was sehr bequem zu konfigurieren und aufzurufen ist. Gleichzeitig optimierten das Team von Hugging Face und Tencent Hunyuan gemeinsam das Algorithmus-Framework, um die Bilderzeugung zu beschleunigen.

Dies ist auch gleichbedeutend mit der Bereitstellung grundlegender Unterstützung für alle nachfolgenden Nutzungen und Entwicklungen auf Basis von Hunyuan DiT und deckt alle Szenarien ab, in denen Hunyuan DiT aufgerufen werden muss, einschließlich der oben genannten ComfyUI-Methode. Gleichzeitig können Entwickler zuvor konfigurierte Workflows und Plug-Ins auf Basis von Diffusern mit wenigen Modifikationen direkt in Hunyuan DiT verwenden.

Lu Qinglin, Leiter von Tencent Wenshengtu, sagte: „Das Hunyuan Wenshengtu-Modell von Tencent hat nach der Open Source-Veröffentlichung Unterstützung und Feedback von vielen Entwicklern erhalten. Wir sind sehr zufrieden und arbeiten auch mit der Community zusammen, um uns zu verbessern und zu reagieren.“ Durch die Optimierung des Open-Source-Ökosystems auf der Grundlage von Hunyuan DiT können mehr Entwickler die neuesten Forschungsergebnisse bequemer nutzen. Wir begrüßen auch alle, die sich uns beim Aufbau des Open-Source-Ökosystems der nächsten Generation anschließen und die beschleunigte Entwicklung des Open-Source-Ökosystems fördern Modellindustrie.“🎜🎜

Anbei finden Sie den Link zum Tencent Hunyuan Wenshengtu Open-Source-Großmodell (Hunyuan DiT-Modell)Offizielle Website:

https://www.php.cn/link/35817bda28b111 aa49bd8fdf 61878246

Code:

https://www.php.cn/link/bb4b90201e39e55c4a9ccfec8436cfb8

Modell:

https://www.php.cn /link /5dacab03c06f42f75c3f21a2c9f98997

Papier:

https://www.php.cn/link/a0b173044f2019316bebc411696e 7d 35

Das obige ist der detaillierte Inhalt vonTencent Hunyuan veröffentlicht eine Open-Source-Beschleunigungsbibliothek, die die Bildgenerierungszeit um 75 % verkürzt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!