Die Inferenzgeschwindigkeit ist doppelt so hoch wie bei Stable Diffusion. Das Generieren und Reparieren von Bildern kann mit einem Google-Modell erfolgen, wodurch neues SOTA realisiert wird.

Die Text-zu-Bild-Generierung ist eine der heißesten AIGC-Richtungen im Jahr 2022 und wurde von „Science“ zu einem der zehn besten wissenschaftlichen Durchbrüche im Jahr 2022 gewählt. Kürzlich hat Googles neues Papier zur Text-zu-Bild-Generierung „Muse: Text-To-Image Generation via Masked Generative Transformers“ große Aufmerksamkeit erregt.

• Papieradresse: https://arxiv.org/pdf/2301.00704v1.pdf
• Projektadresse: https://muse-model.github.io/

Diese Studie schlägt ein neues Modell für die Text-zu-Bild-Synthese unter Verwendung eines maskierten Bildmodellierungsansatzes vor, bei dem die Bilddecoderarchitektur auf Einbettungen von vorab trainierten und eingefrorenen T5-XXL Large Language Model (LLM)-Encodern als Bedingung basiert .

Ähnlich wie beim vorherigen Imagen-Modell von Google ergab diese Studie, dass die Abstimmung auf der Grundlage eines vorab trainierten LLM für die Erzeugung realistischer, qualitativ hochwertiger Bilder von entscheidender Bedeutung ist. Das Muse-Modell basiert auf der Transformer-Architektur (Vaswani et al., 2017).

Verglichen mit Imagen (Saharia et al., 2022) oder Dall-E2 (Ramesh et al., 2022), die auf dem kaskadierten Pixelraum-Diffusionsmodell basieren, verwendet Muse diskrete Token, die Effizienz ist deutlich verbessert. Im Vergleich zum autoregressiven SOTA-Modell Parti (Yu et al., 2022) ist Muse aufgrund der Verwendung paralleler Dekodierung effizienter.

Basierend auf experimentellen Ergebnissen zu TPU-v4 schätzen Forscher, dass Muse in der Inferenzgeschwindigkeit mehr als zehnmal schneller ist als Imagen-3B- oder Parti-3B-Modelle und schneller als Stable Diffusion v1.4 (Rombach et al., 2022) 2x schneller. Forscher glauben, dass Muse schneller ist als Stable Diffusion, da das Diffusionsmodell in Stable Diffusion v1.4 verwendet wird, was offensichtlich mehr Iterationen während der Inferenz erfordert.

Andererseits hat die Verbesserung der Muse-Effizienz nicht zu einer Verschlechterung der Qualität der generierten Bilder oder einer Verschlechterung des semantischen Verständnisses der Eingabeaufforderung durch das Modell geführt. In dieser Studie wurden die Ergebnisse der Muse-Generierung anhand mehrerer Kriterien bewertet, darunter CLIP-Score (Radford et al., 2021) und FID (Heusel et al., 2017). Das Muse-3B-Modell erreichte einen CLIP-Score von 0,32 und einen FID-Score von 7,88 beim COCO (Lin et al., 2014) Zero-Shot-Validierungsbenchmark.

Werfen wir einen Blick auf den Muse-Generierungseffekt:

Text-Bild-Generierung: Das Muse-Modell generiert schnell hochwertige Bilder aus Textaufforderungen (auf TPUv4 dauert es 1,3 Sekunden, bis ein Bild mit einer Auflösung von 512 x 512 generiert wird Ein Bild mit einer Auflösung von 256 x 256 dauert 0,5 Sekunden. Generieren Sie beispielsweise „einen Bären, der Fahrrad fährt, und einen Vogel, der auf dem Lenker sitzt“:

Das Muse-Modell stellt Benutzern Zero-Sample- und No-Sampling-Daten bereit, indem es Bild-Tokens unter Textaufforderungsbedingungen iterativ neu abtastet. Maskenfreie Bearbeitung.

Muse bietet auch maskenbasierte Bearbeitung, wie zum Beispiel „Auf dem See steht ein Pavillon vor dem Hintergrund wunderschöner Herbstblätter.“

Modelleinführung

Muse basiert auf einer Reihe von Komponenten. Abbildung 3 bietet einen Überblick über die Modellarchitektur.

Konkret sind die enthaltenen Komponenten:

Vorab trainierter Text-Encoder: Diese Studie ergab, dass die Verwendung vorab trainierter Large Language Models (LLM) die Qualität der Bilderzeugung verbessern kann. Sie stellten die Hypothese auf, dass das Muse-Modell gelernt hat, die reichhaltigen visuellen und semantischen Konzepte in den LLM-Einbettungen auf die generierten Bilder abzubilden. Bei einem gegebenen Eingabetext-Untertitel durchläuft die Studie diesen durch einen eingefrorenen T5-XXL-Encoder, was zu einer 4096-dimensionalen Sequenz von Spracheinbettungsvektoren führt. Diese Einbettungsvektoren werden linear auf das Transformer-Modell projiziert.

Verwendung von VQGAN für die semantische Tokenisierung: Die Kernkomponente dieses Modells ist die Verwendung semantischer Token, die aus dem VQGAN-Modell gewonnen werden. Unter diesen besteht VQGAN aus einem Encoder und einem Decoder, und eine Quantisierungsschicht ordnet das Eingabebild einer Token-Sequenz in einem lernenden Codebuch zu. In dieser Studie werden alle Faltungsschichten zum Erstellen von Encodern und Decodern verwendet, um die Codierung von Bildern unterschiedlicher Auflösung zu unterstützen.

Basismodell: Das Basismodell ist ein Maskentransformator, bei dem die Eingaben Einbettungen und Bildtokens sind, die auf T5 projiziert werden. Die Studie behält alle Texteinbettungen bei (unmaskiert), maskiert Bild-Tokens unterschiedlicher Proportionen nach dem Zufallsprinzip und ersetzt sie durch ein spezielles [Masken]-Token.

Super-Resolution-Modell: In dieser Studie wurde festgestellt, dass es vorteilhaft ist, eine Kaskade von Modellen zu verwenden: zunächst ein Basismodell, das eine latente 16 × 16-Karte (entsprechend einem 256 × 256-Bild) generiert, und dann ein Upsampling der latenten Basiskarte Das hochauflösende Modell ist eine 64 × 64-Potenzialkarte (entsprechend einem 512 × 512-Bild).

Decoder-Feinabstimmung: Um die Fähigkeit des Modells, feine Details zu erzeugen, weiter zu verbessern, erhöht diese Studie die Kapazität des VQGAN-Decoders durch Hinzufügen weiterer Restschichten und Kanäle, während die Encoderkapazität unverändert bleibt. Die neue Decoderschicht wird dann feinabgestimmt, während die VQGAN-Encodergewichte, das Codebuch und der Transformator (d. h. Basismodell und Superauflösungsmodell) eingefroren werden.

Zusätzlich zu den oben genannten Komponenten enthält Muse auch Komponenten mit variablem Maskenverhältnis, iterative parallele Decodierungskomponenten während der Inferenz usw.

Experimente und Ergebnisse

Wie in der Tabelle unten gezeigt, verkürzt Muse die Inferenzzeit im Vergleich zu anderen Modellen.

Die folgende Tabelle zeigt die FID- und CLIP-Werte, die von verschiedenen Modellen an Nullschuss-COCO gemessen wurden:

Wie in der Tabelle unten gezeigt, Muse (632M (Basis)+268M (Super -res) parametrisches Modell) erreichte einen SOTA-FID-Score von 6,06, als es auf dem CC3M-Datensatz trainiert und ausgewertet wurde.

Das Bild unten ist ein Beispiel für die Ergebnisse, die von Muse, Imagen und DALL-E 2 unter derselben Eingabeaufforderung generiert wurden.

Interessierte Leser können den Originaltext des Artikels lesen, um weitere Forschungsdetails zu erfahren.

Das obige ist der detaillierte Inhalt vonDie Inferenzgeschwindigkeit ist doppelt so hoch wie bei Stable Diffusion. Das Generieren und Reparieren von Bildern kann mit einem Google-Modell erfolgen, wodurch neues SOTA realisiert wird.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!