Vereinfachen Sie die Eingabeaufforderung für Vincent-Diagramme. Das LLM-Modell generiert hochwertige Bilder

Das Diffusionsmodell hat sich zu einem gängigen Text-zu-Bild-Generierungsmodell entwickelt, das die Generierung hochwertiger und inhaltsreicher Bilder durch Textaufforderungen steuern kann.

Wenn die Eingabeaufforderungen zu prägnant sind, versagen bestehende Modelle semantisches Verständnis und vernünftiges Denken Es gibt Einschränkungen in allen Aspekten, die zu einer erheblichen Verschlechterung der Qualität der generierten Bilder führen werden

Lin Liangs Team vom HCP-Labor der Sun Yat-sen-Universität schlug eine einfache und wirksame Geldstrafe vor -Tuning-Methode namens SUR-Adapter, die darauf abzielt, die Genauigkeit des Modells beim narrativen Verständnis sexueller Hinweise zu verbessern. Diese Methode ist ein semantischer Verständnis- und Inferenzadapter, der für vorab trainierte Diffusionsmodelle geeignet ist und die Eigenschaften der Parametereffizienz aufweist

Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/ abs/2305.05189

Open-Source-Adresse: https://github.com/Qrange-group/SUR-adapter

Um dieses Ziel zu erreichen, sammelten und kommentierten die Forscher zunächst einen Datensatz namens SURD. Dieser Datensatz enthält mehr als 57.000 multimodale Beispiele. Jedes Beispiel enthält eine einfache narrative Eingabeaufforderung, eine komplexe schlüsselwortbasierte Eingabeaufforderung und ein qualitativ hochwertiges Bild. Die Forscher kombinierten die narrativen Eingabeaufforderungen. Die semantische Darstellung ist auf komplexe Hinweise ausgerichtet , und das Wissen des großen Sprachmodells (LLM) wird durch Wissensdestillation auf den SUR-Adapter übertragen, sodass leistungsstarke semantische Verständnis- und Argumentationsfunktionen erhalten werden können, um eine hochwertige semantische Textdarstellung für die Text-zu-Bild-Generierung zu erstellen. Anschließend stimmten sie die semantische Darstellung der narrativen Eingabeaufforderungen mit den komplexen Eingabeaufforderungen ab und übertrugen das Wissen des großen Sprachmodells (LLM) durch Wissensdestillation auf den SUR-Adapter, um ein starkes semantisches Verständnis und Argumentationsfähigkeiten für den Aufbau hochwertiger Lösungen zu erhalten Textsemantische Darstellungen. Für die Text-zu-Bild-Generierung

Wir führten Experimente durch, indem wir mehrere LLMs und vorab trainierte Diffusionsmodelle integrierten und fanden heraus, dass diese Methode das Diffusionsmodell effektiv in die Lage versetzen kann, prägnante natürliche Sprache zu verstehen und darüber nachzudenken Beschreibungen ohne Verschlechterung der Bildqualität

Dieser Ansatz kann die Verwendung von Text-zu-Bild-Diffusionsmodellen benutzerfreundlicher machen, eine bessere Benutzererfahrung bieten, die Entwicklung benutzerfreundlicher Text-zu-Bild-Generierungsmodelle weiter fördern und einfache Probleme ausgleichen narrative Eingabeaufforderungen und schlüsselwortbasierte Eingabeaufforderungen Die semantische Lücke zwischen

Hintergrundeinführung

Gegenwärtig ist das durch stabile Diffusion dargestellte Text-zu-Bild-Vortrainingsmodell zu einem der wichtigsten Grundmodelle in der Welt geworden Bereich der durch künstliche Intelligenz generierten Inhalte, in der Bildbearbeitung, Video Es spielt eine wichtige Rolle bei Aufgaben wie der Generierung und 3D-Objektgenerierung

Derzeit hängen die semantischen Fähigkeiten dieser vorab trainierten Diffusionsmodelle hauptsächlich von Textkodierern ab (z. B CLIP) und ihre semantischen Verständnisfähigkeiten wirken sich direkt auf den Generierungseffekt des Diffusionsmodells aus.

Dieser Artikel testet zunächst die Bild-Text-Übereinstimmungsgenauigkeit der stabilen Diffusion, indem er gängige Fragekategorien in visuellen Fragebeantwortungsaufgaben (VQA) erstellt B. „Zählen“, „Farbe“ und „Aktion“. Wir werden manuell zählen und testen.

Im Folgenden finden Sie Beispiele für die Erstellung verschiedener Eingabeaufforderungen. Einzelheiten finden Sie in der Tabelle unten -Trainiertes Diffusionsmodell Es gibt ernsthafte Probleme beim semantischen Verständnis. Die Genauigkeit der Bild-Text-Übereinstimmung beträgt bei einer großen Anzahl von Problemen weniger als 50 %, und selbst bei einigen Problemen beträgt die Genauigkeit nur 0 %. Wir müssen Wege finden, um die Diffusion vor dem Training zu verbessern. Die semantischen Fähigkeiten dieses Artikel-Encoders im Modell Lernen Sie von der häufig verwendeten Diffusionsmodell-Online-Website lexica.art. Erhalten Sie eine große Anzahl von Bild-Text-Paaren von , civitai.com und Stablediffusionweb. Anschließend müssen wir diese Daten bereinigen und filtern, um mehr als 57.000 hochwertige Triplett-Daten (einschließlich komplexer Eingabeaufforderungen, einfacher Eingabeaufforderungen und Bilder) zu erhalten und sie in einen SURD-Datensatz umzuwandeln

Wie in der folgenden Abbildung dargestellt, beziehen sich komplexe Eingabeaufforderungen auf die Texteingabebedingungen, die das Diffusionsmodell beim Generieren von Bildern erfordert. Normalerweise haben diese Eingabeaufforderungen komplexe Formate und Beschreibungen. Eine einfache Eingabeaufforderung ist eine durch BLIP generierte Textbeschreibung. Sie verwendet ein Sprachformat, das mit der menschlichen Beschreibung übereinstimmt. Im Allgemeinen erschwert eine einfache Eingabeaufforderung, die mit der normalen menschlichen Sprachbeschreibung übereinstimmt, die Generierung eines Bildes Bild, das semantisch konsistent genug ist, und komplexe Tipps (die Benutzer scherzhaft das „Mantra“ des Diffusionsmodells nennen) können zufriedenstellende Ergebnisse erzielen

Der Inhalt, der neu geschrieben werden muss, ist: 2. Semantische Destillation großer Sprachmodelle

In diesem Artikel wird eine Methode A vorgestellt, die eine Adapter-of-Transformer-Struktur verwendet, um die semantischen Merkmale eines großen Sprachmodells in einer bestimmten verborgenen Schicht zu destillieren, und die endgültigen semantischen Merkmale durch lineares Kombinieren der von ihm geleiteten Informationen des großen Sprachmodells erhält der Adapter mit den semantischen Merkmalen, die vom ursprünglichen Textencoder ausgegeben werden

Das große Sprachmodell verwendet LLaMA-Modelle unterschiedlicher Größe, und die Parameter des UNet-Teils des Diffusionsmodells werden während des gesamten Trainingsprozesses eingefroren

Der Inhalt, der neu geschrieben werden muss, ist: 3. Wiederherstellung der Bildqualität

Um die ursprüngliche Bedeutung beizubehalten, muss der Inhalt ins Chinesische umgeschrieben werden: Da die Struktur dieses Artikels lernbare Module in den Inferenzprozess für große Modelle vor dem Training einführt, zerstört sie bis zu einem gewissen Grad die ursprüngliche Bilderzeugungsqualität des Modells vor dem Training. Daher ist es notwendig, die Qualität der Bilderzeugung wiederherzustellen auf das Generierungsqualitätsniveau des ursprünglichen Modells vor dem Training

Dieser Artikel verwendet Tripel im SURD-Datensatz und stellt die entsprechende Qualitätsverlustfunktion während des Trainingsprozesses vor, um die Qualität der Bildgenerierung wiederherzustellen. In diesem Artikel wird insbesondere gehofft, dass die durch das neue Modul erhaltenen semantischen Merkmale so weit wie möglich an die semantischen Merkmale komplexer Hinweise angepasst werden können

Die folgende Abbildung zeigt das Feinabstimmungsframework des SUR-Adapters für das vorab trainierte Diffusionsmodell . Die rechte Seite ist die Netzwerkstruktur des Adapters

Experimentelle Ergebnisse

Für die Leistung des SUR-Adapters analysiert dieser Artikel die Leistung des SUR-Adapters unter zwei Gesichtspunkten: semantische Übereinstimmung und Bildqualität

Einerseits zeigt die folgende Tabelle, dass der SUR-Adapter das häufige Problem der semantischen Nichtübereinstimmung in Vincentian-Graph-Diffusionsmodellen effektiv lösen kann und für verschiedene experimentelle Einstellungen geeignet ist. Unter verschiedenen Kategorien semantischer Kriterien wurde auch die Genauigkeit bis zu einem gewissen Grad verbessert

Andererseits verwendet dieser Artikel gängige Bildqualitätsbewertungsindikatoren wie BRISQUE, um das ursprüngliche Pretrain-Diffusionsmodell und die Diffusion nach Verwendung von SUR zu vergleichen -adapter Die Qualität der vom Modell generierten Bilder wurde statistisch getestet und wir können feststellen, dass es keinen signifikanten Unterschied zwischen den beiden gibt.

Wir haben auch einen Fragebogentest zur menschlichen Präferenz durchgeführt

Anhand der obigen Analyse kann der Schluss gezogen werden, dass die vorgeschlagene Methode in der Lage ist, die inhärenten Probleme von vorab trainiertem Text zu Bild zu lindern und gleichzeitig die Qualität der Bilderzeugung beizubehalten . Das Bild-Text-Mismatch-Problem kann auch anhand des folgenden Beispiels der Bildgenerierung qualitativ demonstriert werden. Weitere Informationen finden Sie in diesem Artikel und im Open Source Warehouse Der Inhalt, der neu geschrieben werden muss, ist:

Einführung in das HCP Lab

Professor Lin Li gründete 2010 das Human-Machine-Physical Intelligence Fusion Laboratory (HCP Lab) der Sun Yat-sen University. In den letzten Jahren hat das Labor umfangreiche akademische Ergebnisse in den Bereichen multimodales Inhaltsverständnis, kausales und kognitives Denken sowie verkörperte Intelligenz erzielt. Das Labor hat zahlreiche in- und ausländische Wissenschafts- und Technologiepreise sowie Auszeichnungen für die beste Arbeit gewonnen und engagiert sich für die Entwicklung von Technologien und Plattformen für künstliche Intelligenz auf Produktebene

Das obige ist der detaillierte Inhalt vonVereinfachen Sie die Eingabeaufforderung für Vincent-Diagramme. Das LLM-Modell generiert hochwertige Bilder. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!