


Vereinfachen Sie die Eingabeaufforderung für Vincent-Diagramme. Das LLM-Modell generiert hochwertige Bilder
Das Diffusionsmodell hat sich zu einem gängigen Text-zu-Bild-Generierungsmodell entwickelt, das die Generierung hochwertiger und inhaltsreicher Bilder durch Textaufforderungen steuern kann.
Wenn die Eingabeaufforderungen zu prägnant sind, versagen bestehende Modelle semantisches Verständnis und vernünftiges Denken Es gibt Einschränkungen in allen Aspekten, die zu einer erheblichen Verschlechterung der Qualität der generierten Bilder führen werden
Lin Liangs Team vom HCP-Labor der Sun Yat-sen-Universität schlug eine einfache und wirksame Geldstrafe vor -Tuning-Methode namens SUR-Adapter, die darauf abzielt, die Genauigkeit des Modells beim narrativen Verständnis sexueller Hinweise zu verbessern. Diese Methode ist ein semantischer Verständnis- und Inferenzadapter, der für vorab trainierte Diffusionsmodelle geeignet ist und die Eigenschaften der Parametereffizienz aufweist
Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/ abs/2305.05189
Open-Source-Adresse: https://github.com/Qrange-group/SUR-adapter
Um dieses Ziel zu erreichen, sammelten und kommentierten die Forscher zunächst einen Datensatz namens SURD. Dieser Datensatz enthält mehr als 57.000 multimodale Beispiele. Jedes Beispiel enthält eine einfache narrative Eingabeaufforderung, eine komplexe schlüsselwortbasierte Eingabeaufforderung und ein qualitativ hochwertiges Bild. Die Forscher kombinierten die narrativen Eingabeaufforderungen. Die semantische Darstellung ist auf komplexe Hinweise ausgerichtet , und das Wissen des großen Sprachmodells (LLM) wird durch Wissensdestillation auf den SUR-Adapter übertragen, sodass leistungsstarke semantische Verständnis- und Argumentationsfunktionen erhalten werden können, um eine hochwertige semantische Textdarstellung für die Text-zu-Bild-Generierung zu erstellen. Anschließend stimmten sie die semantische Darstellung der narrativen Eingabeaufforderungen mit den komplexen Eingabeaufforderungen ab und übertrugen das Wissen des großen Sprachmodells (LLM) durch Wissensdestillation auf den SUR-Adapter, um ein starkes semantisches Verständnis und Argumentationsfähigkeiten für den Aufbau hochwertiger Lösungen zu erhalten Textsemantische Darstellungen. Für die Text-zu-Bild-Generierung
Wir führten Experimente durch, indem wir mehrere LLMs und vorab trainierte Diffusionsmodelle integrierten und fanden heraus, dass diese Methode das Diffusionsmodell effektiv in die Lage versetzen kann, prägnante natürliche Sprache zu verstehen und darüber nachzudenken Beschreibungen ohne Verschlechterung der Bildqualität
Dieser Ansatz kann die Verwendung von Text-zu-Bild-Diffusionsmodellen benutzerfreundlicher machen, eine bessere Benutzererfahrung bieten, die Entwicklung benutzerfreundlicher Text-zu-Bild-Generierungsmodelle weiter fördern und einfache Probleme ausgleichen narrative Eingabeaufforderungen und schlüsselwortbasierte Eingabeaufforderungen Die semantische Lücke zwischen
Hintergrundeinführung
Gegenwärtig ist das durch stabile Diffusion dargestellte Text-zu-Bild-Vortrainingsmodell zu einem der wichtigsten Grundmodelle in der Welt geworden Bereich der durch künstliche Intelligenz generierten Inhalte, in der Bildbearbeitung, Video Es spielt eine wichtige Rolle bei Aufgaben wie der Generierung und 3D-Objektgenerierung
Derzeit hängen die semantischen Fähigkeiten dieser vorab trainierten Diffusionsmodelle hauptsächlich von Textkodierern ab (z. B CLIP) und ihre semantischen Verständnisfähigkeiten wirken sich direkt auf den Generierungseffekt des Diffusionsmodells aus.
Dieser Artikel testet zunächst die Bild-Text-Übereinstimmungsgenauigkeit der stabilen Diffusion, indem er gängige Fragekategorien in visuellen Fragebeantwortungsaufgaben (VQA) erstellt B. „Zählen“, „Farbe“ und „Aktion“. Wir werden manuell zählen und testen.
Im Folgenden finden Sie Beispiele für die Erstellung verschiedener Eingabeaufforderungen. Einzelheiten finden Sie in der Tabelle unten -Trainiertes Diffusionsmodell Es gibt ernsthafte Probleme beim semantischen Verständnis. Die Genauigkeit der Bild-Text-Übereinstimmung beträgt bei einer großen Anzahl von Problemen weniger als 50 %, und selbst bei einigen Problemen beträgt die Genauigkeit nur 0 %. Wir müssen Wege finden, um die Diffusion vor dem Training zu verbessern. Die semantischen Fähigkeiten dieses Artikel-Encoders im Modell Lernen Sie von der häufig verwendeten Diffusionsmodell-Online-Website lexica.art. Erhalten Sie eine große Anzahl von Bild-Text-Paaren von , civitai.com und Stablediffusionweb. Anschließend müssen wir diese Daten bereinigen und filtern, um mehr als 57.000 hochwertige Triplett-Daten (einschließlich komplexer Eingabeaufforderungen, einfacher Eingabeaufforderungen und Bilder) zu erhalten und sie in einen SURD-Datensatz umzuwandeln
Wie in der folgenden Abbildung dargestellt, beziehen sich komplexe Eingabeaufforderungen auf die Texteingabebedingungen, die das Diffusionsmodell beim Generieren von Bildern erfordert. Normalerweise haben diese Eingabeaufforderungen komplexe Formate und Beschreibungen. Eine einfache Eingabeaufforderung ist eine durch BLIP generierte Textbeschreibung. Sie verwendet ein Sprachformat, das mit der menschlichen Beschreibung übereinstimmt. Im Allgemeinen erschwert eine einfache Eingabeaufforderung, die mit der normalen menschlichen Sprachbeschreibung übereinstimmt, die Generierung eines Bildes Bild, das semantisch konsistent genug ist, und komplexe Tipps (die Benutzer scherzhaft das „Mantra“ des Diffusionsmodells nennen) können zufriedenstellende Ergebnisse erzielen
Der Inhalt, der neu geschrieben werden muss, ist: 2. Semantische Destillation großer Sprachmodelle
In diesem Artikel wird eine Methode A vorgestellt, die eine Adapter-of-Transformer-Struktur verwendet, um die semantischen Merkmale eines großen Sprachmodells in einer bestimmten verborgenen Schicht zu destillieren, und die endgültigen semantischen Merkmale durch lineares Kombinieren der von ihm geleiteten Informationen des großen Sprachmodells erhält der Adapter mit den semantischen Merkmalen, die vom ursprünglichen Textencoder ausgegeben werden
Das große Sprachmodell verwendet LLaMA-Modelle unterschiedlicher Größe, und die Parameter des UNet-Teils des Diffusionsmodells werden während des gesamten Trainingsprozesses eingefroren
Der Inhalt, der neu geschrieben werden muss, ist: 3. Wiederherstellung der Bildqualität
Um die ursprüngliche Bedeutung beizubehalten, muss der Inhalt ins Chinesische umgeschrieben werden: Da die Struktur dieses Artikels lernbare Module in den Inferenzprozess für große Modelle vor dem Training einführt, zerstört sie bis zu einem gewissen Grad die ursprüngliche Bilderzeugungsqualität des Modells vor dem Training. Daher ist es notwendig, die Qualität der Bilderzeugung wiederherzustellen auf das Generierungsqualitätsniveau des ursprünglichen Modells vor dem Training
Dieser Artikel verwendet Tripel im SURD-Datensatz und stellt die entsprechende Qualitätsverlustfunktion während des Trainingsprozesses vor, um die Qualität der Bildgenerierung wiederherzustellen. In diesem Artikel wird insbesondere gehofft, dass die durch das neue Modul erhaltenen semantischen Merkmale so weit wie möglich an die semantischen Merkmale komplexer Hinweise angepasst werden können
Die folgende Abbildung zeigt das Feinabstimmungsframework des SUR-Adapters für das vorab trainierte Diffusionsmodell . Die rechte Seite ist die Netzwerkstruktur des Adapters
Experimentelle Ergebnisse
Für die Leistung des SUR-Adapters analysiert dieser Artikel die Leistung des SUR-Adapters unter zwei Gesichtspunkten: semantische Übereinstimmung und Bildqualität
Einerseits zeigt die folgende Tabelle, dass der SUR-Adapter das häufige Problem der semantischen Nichtübereinstimmung in Vincentian-Graph-Diffusionsmodellen effektiv lösen kann und für verschiedene experimentelle Einstellungen geeignet ist. Unter verschiedenen Kategorien semantischer Kriterien wurde auch die Genauigkeit bis zu einem gewissen Grad verbessert
Andererseits verwendet dieser Artikel gängige Bildqualitätsbewertungsindikatoren wie BRISQUE, um das ursprüngliche Pretrain-Diffusionsmodell und die Diffusion nach Verwendung von SUR zu vergleichen -adapter Die Qualität der vom Modell generierten Bilder wurde statistisch getestet und wir können feststellen, dass es keinen signifikanten Unterschied zwischen den beiden gibt.
Wir haben auch einen Fragebogentest zur menschlichen Präferenz durchgeführt
Anhand der obigen Analyse kann der Schluss gezogen werden, dass die vorgeschlagene Methode in der Lage ist, die inhärenten Probleme von vorab trainiertem Text zu Bild zu lindern und gleichzeitig die Qualität der Bilderzeugung beizubehalten . Das Bild-Text-Mismatch-Problem kann auch anhand des folgenden Beispiels der Bildgenerierung qualitativ demonstriert werden. Weitere Informationen finden Sie in diesem Artikel und im Open Source Warehouse Der Inhalt, der neu geschrieben werden muss, ist:
Einführung in das HCP Lab
Professor Lin Li gründete 2010 das Human-Machine-Physical Intelligence Fusion Laboratory (HCP Lab) der Sun Yat-sen University. In den letzten Jahren hat das Labor umfangreiche akademische Ergebnisse in den Bereichen multimodales Inhaltsverständnis, kausales und kognitives Denken sowie verkörperte Intelligenz erzielt. Das Labor hat zahlreiche in- und ausländische Wissenschafts- und Technologiepreise sowie Auszeichnungen für die beste Arbeit gewonnen und engagiert sich für die Entwicklung von Technologien und Plattformen für künstliche Intelligenz auf Produktebene
Das obige ist der detaillierte Inhalt vonVereinfachen Sie die Eingabeaufforderung für Vincent-Diagramme. Das LLM-Modell generiert hochwertige Bilder. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

KI verstärken die Zubereitung der Lebensmittel KI -Systeme werden während der Nahten immer noch in der Zubereitung von Nahrungsmitteln eingesetzt. KI-gesteuerte Roboter werden in Küchen verwendet, um Aufgaben zur Zubereitung von Lebensmitteln zu automatisieren, z.

Einführung Das Verständnis der Namespaces, Scopes und des Verhaltens von Variablen in Python -Funktionen ist entscheidend, um effizient zu schreiben und Laufzeitfehler oder Ausnahmen zu vermeiden. In diesem Artikel werden wir uns mit verschiedenen ASP befassen

Einführung Stellen Sie sich vor, Sie gehen durch eine Kunstgalerie, umgeben von lebhaften Gemälden und Skulpturen. Was wäre, wenn Sie jedem Stück eine Frage stellen und eine sinnvolle Antwort erhalten könnten? Sie könnten fragen: „Welche Geschichte erzählst du?

In diesem Monat hat MediaTek in diesem Monat eine Reihe von Ankündigungen gemacht, darunter das neue Kompanio Ultra und die Abmessung 9400. Diese Produkte füllen die traditionelleren Teile von MediaTeks Geschäft aus, die Chips für Smartphone enthalten

#1 Google gestartet Agent2Agent Die Geschichte: Es ist Montagmorgen. Als mit KI betriebener Personalvermittler arbeiten Sie intelligenter, nicht härter. Sie melden sich im Dashboard Ihres Unternehmens auf Ihrem Telefon an. Es sagt Ihnen, dass drei kritische Rollen bezogen, überprüft und geplant wurden

Ich würde vermuten, dass du es sein musst. Wir alle scheinen zu wissen, dass Psychobabble aus verschiedenen Geschwätzern besteht, die verschiedene psychologische Terminologie mischen und oft entweder unverständlich oder völlig unsinnig sind. Alles was Sie tun müssen, um fo zu spucken

Laut einer neuen Studie, die diese Woche veröffentlicht wurde, wurden im Jahr 2022 nur 9,5% der im Jahr 2022 hergestellten Kunststoffe aus recycelten Materialien hergestellt. In der Zwischenzeit häufen sich Plastik weiter in Deponien - und Ökosystemen - um die Welt. Aber Hilfe ist unterwegs. Ein Team von Engin

Mein jüngstes Gespräch mit Andy Macmillan, CEO der führenden Unternehmensanalyse -Plattform Alteryx, zeigte diese kritische, aber unterschätzte Rolle in der KI -Revolution. Wie Macmillan erklärt, die Lücke zwischen Rohgeschäftsdaten und KI-fertigen Informat


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

WebStorm-Mac-Version
Nützliche JavaScript-Entwicklungstools

MantisBT
Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

SublimeText3 Linux neue Version
SublimeText3 Linux neueste Version

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor