suchen
HeimTechnologie-PeripheriegeräteKIMiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

Großformatige Modelle schaffen den Sprung zwischen Sprache und Vision und versprechen, Text- und Bildinhalte nahtlos zu verstehen und zu generieren. Einer Reihe aktueller Studien zufolge ist die Integration multimodaler Funktionen nicht nur ein wachsender Trend, sondern hat bereits zu wichtigen Fortschritten geführt, die von multimodalen Gesprächen bis hin zu Tools zur Inhaltserstellung reichen. Große Sprachmodelle haben beispiellose Fähigkeiten beim Verstehen und Generieren von Texten gezeigt. Die gleichzeitige Generierung von Bildern mit kohärenten Texterzählungen ist jedoch noch ein Bereich, der noch entwickelt werden muss

Kürzlich hat ein Forschungsteam der University of California, Santa Cruz, MiniGPT-5 vorgeschlagen, das auf dem innovativen Konzept der „generativen Abstimmung“ basiert Technologie zur Erzeugung verschachtelter visueller Sprache.

MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.


  • Papieradresse: https://browse.arxiv.org/pdf/2310.02239v1.pdf
  • Projektadresse: https://github.com/eric- ai-lab/MiniGPT-5

Durch die Kombination eines stabilen Diffusionsmechanismus mit LLM durch ein spezielles visuelles Token „generative Abstimmung“ läutet MiniGPT-5 einen neuen Weg für ein kompetentes multimodales Generationsmodell ein. Gleichzeitig betont die in diesem Artikel vorgeschlagene zweistufige Trainingsmethode die Bedeutung der beschreibungsfreien Grundphase, damit das Modell auch bei knappen Daten erfolgreich sein kann. Die allgemeine Phase der Methode erfordert keine domänenspezifischen Anmerkungen, wodurch sich unsere Lösung von bestehenden Methoden unterscheidet. Um sicherzustellen, dass der generierte Text und die Bilder harmonisch sind, kommt die Doppelverluststrategie dieses Artikels ins Spiel, die durch die generative Abstimmungsmethode und die Klassifizierungsmethode weiter verbessert wird

Basierend auf diesen Techniken markiert diese Arbeit a Transformativer Ansatz. Mithilfe von ViT (Vision Transformer) und Qformer sowie einem großen Sprachmodell wandelt das Forschungsteam multimodale Eingaben in generative Abstimmungen um und kombiniert sie nahtlos mit der hochauflösenden Stable Diffusion2.1, um eine kontextbewusste Bildgenerierung zu erreichen. Dieses Papier kombiniert Bilder als Hilfseingabe mit Methoden zur Befehlsanpassung und leistet Pionierarbeit bei der Verwendung von Text- und Bildgenerierungsverlusten, wodurch die Synergie zwischen Text und Vision erweitert wird. MiniGPT-5 passt Modelle wie CLIP-Einschränkungen an und kombiniert das Diffusionsmodell geschickt mit MiniGPT-4 erzielt bessere multimodale Ergebnisse, ohne auf domänenspezifische Annotationen angewiesen zu sein. Am wichtigsten ist, dass unsere Strategie Fortschritte in den zugrunde liegenden Modellen multimodaler visueller Sprache nutzen kann, um einen neuen Entwurf für die Verbesserung multimodaler generativer Fähigkeiten bereitzustellen.

Wie in der folgenden Abbildung gezeigt, kann MiniGPT5 zusätzlich zu den ursprünglichen multimodalen Verständnis- und Textgenerierungsfunktionen auch eine vernünftige und kohärente multimodale Ausgabe bereitstellen:

Der Beitrag dieses Artikels ist spiegelt sich in drei Aspekten wider: MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

Es wird vorgeschlagen, einen multimodalen Encoder zu verwenden, der eine neuartige allgemeine Technik darstellt und sich als effektiver als LLM und inverse generative Vokens erwiesen hat, und ihn mit stabiler Diffusion zu kombinieren, um Interleaved zu erzeugen visuelle und sprachliche Ausgabe (ein multimodales Sprachmodell, das multimodal generiert werden kann).

  • hebt eine neue zweistufige Trainingsstrategie für die beschreibungsfreie multimodale Generierung hervor. Die Single-Modal-Alignment-Stufe erhält qualitativ hochwertige textausgerichtete visuelle Merkmale aus einer großen Anzahl von Text-Bild-Paaren. Die multimodale Lernphase umfasst eine neuartige Trainingsaufgabe und die Generierung von Aufforderungskontexten, um sicherzustellen, dass visuelle und textliche Aufforderungen gut koordiniert und generiert werden. Durch das Hinzufügen einer klassifikatorfreien Anleitung während der Trainingsphase wird die Generierungsqualität weiter verbessert.
  • Im Vergleich zu anderen multimodalen generativen Modellen erreicht MiniGPT-5 beim CC3M-Datensatz eine Spitzenleistung. MiniGPT-5 setzt auch neue Maßstäbe für bekannte Datensätze wie VIST und MMDialog.
  • Lassen Sie uns nun den Inhalt dieser Forschung im Detail verstehen.

Übersicht über die Methode Vorab trainierte multimodale groß angelegte Sprachmodelle und Text-zu-Bild-Generierungsmodelle sind integriert. Um die Unterschiede zwischen verschiedenen Modellfeldern zu lösen, führten sie spezielle visuelle Symbole „generative Stimmen“ ein, die direkt auf den Originalbildern trainiert werden können. Darüber hinaus wird eine zweistufige Trainingsmethode in Kombination mit einer klassifikatorfreien Bootstrapping-Strategie weiterentwickelt, um die Generierungsqualität weiter zu verbessern.

MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

Multimodale Eingabephase

Jüngste Fortschritte bei großen multimodalen Modellen (wie MiniGPT-4) konzentrieren sich hauptsächlich auf das multimodale Verständnis und die Fähigkeit, Bilder als kontinuierliche Eingaben zu verarbeiten. Um seine Fähigkeiten auf die multimodale Generierung zu erweitern, führten die Forscher generative Vokens ein, die speziell für die Ausgabe visueller Merkmale entwickelt wurden. Darüber hinaus haben sie auch eine Parameter-effiziente Feinabstimmungstechnologie im Rahmen des Large Language Model (LLM) für multimodales Output-Lernen übernommen Token ist Um eine präzise Ausrichtung der Modelle zu erzeugen, entwickelten die Forscher ein kompaktes Zuordnungsmodul für den Dimensionsabgleich und führten mehrere überwachte Verluste ein, darunter Textraumverlust und latente Diffusionsmodellverluste. Der Textraumverlust hilft dem Modell, die Position von Token genau zu lernen, während der latente Diffusionsverlust Token direkt an geeigneten visuellen Merkmalen ausrichtet. Da die Merkmale generativer Symbole direkt durch Bilder gesteuert werden, erfordert diese Methode keine vollständige Bildbeschreibung und ermöglicht ein beschreibungsfreies Lernen Durch die Verschiebung der Textdomäne und der Bilddomäne fanden Forscher heraus, dass das Training direkt an einem begrenzten verschachtelten Text- und Bilddatensatz zu einer Fehlausrichtung und einer Verschlechterung der Bildqualität führen kann.

Also nutzten sie zwei unterschiedliche Trainingsstrategien, um dieses Problem zu mildern. Die erste Strategie beinhaltet den Einsatz klassifikatorfreier Bootstrapping-Techniken, um die Wirksamkeit der generierten Token während des gesamten Diffusionsprozesses zu verbessern. Die zweite Strategie gliedert sich in zwei Phasen: eine anfängliche Vortrainingsphase, die sich auf die grobe Merkmalsausrichtung konzentriert, gefolgt von einer Feinabstimmungsphase zum Thema komplexes Feature-Learning.

Experimente und Ergebnisse

Um die Wirksamkeit des Modells zu bewerten, wählten die Forscher mehrere Benchmarks aus und führten eine Reihe von Bewertungen durch. Der Zweck des Experiments besteht darin, mehrere Schlüsselfragen zu beantworten: Kann

MiniGPT-5 glaubwürdige Bilder und vernünftigen Text erzeugen?

Wie schneidet MiniGPT-5 im Vergleich zu anderen SOTA-Modellen bei ein- und mehrrundigen verschachtelten visuellen Sprachgenerierungsaufgaben ab?

Welche Auswirkungen hat das Design jedes Moduls auf die Gesamtleistung?

Um die Leistung des MiniGPT-5-Modells in verschiedenen Trainingsphasen zu bewerten, haben wir eine quantitative Analyse durchgeführt. Die Ergebnisse sind in Abbildung 3 dargestellt:

    Um die Vielseitigkeit und Robustheit zu demonstrieren Wir haben das vorgeschlagene Modell evaluiert und dabei sowohl visuelle (bildbezogene Metriken) als auch sprachliche (Textmetriken) Domänen abgedeckt. SchrittauswertungDas heißt, im letzten Schritt wird das entsprechende Bild gemäß dem Eingabeaufforderungsmodell generiert und die Ergebnisse sind in Tabelle 1 aufgeführt.
  • MiniGPT-5 übertrifft den fein abgestimmten SD 2 in allen drei Einstellungen. Bemerkenswert ist, dass der CLIP-Score des MiniGPT-5 (LoRA)-Modells andere Varianten bei mehreren Eingabeaufforderungstypen durchweg übertrifft, insbesondere bei der Kombination von Bild- und Texteingabeaufforderungen. Andererseits unterstreicht der FID-Score die Wettbewerbsfähigkeit des MiniGPT-5-Modells (Präfix), was darauf hindeutet, dass es möglicherweise einen Kompromiss zwischen der Bildeinbettungsqualität (dargestellt durch den CLIP-Score) und der Bildvielfalt und -authentizität (dargestellt durch) gibt FID-Score). Im Vergleich zu einem Modell, das direkt auf VIST trainiert wurde, ohne eine Einzelmodalitätsregistrierungsphase einzuschließen (MiniGPT-5 ohne UAS), sind die Bildqualität und -konsistenz erheblich verringert, obwohl das Modell die Fähigkeit behält, aussagekräftige Bilder zu erzeugen. Diese Beobachtung unterstreicht die Bedeutung der zweistufigen Trainingsstrategie Kontext, und die resultierenden Bilder und Erzählungen werden anschließend bei jedem Schritt bewertet.
  • Tabelle 2 und Tabelle 3 fassen die Ergebnisse dieser Experimente zusammen und bieten einen Überblick über die Leistung bei Bild- bzw. Sprachmetriken. Experimentelle Ergebnisse zeigen, dass MiniGPT-5 in der Lage ist, multimodale Eingabehinweise auf langer Ebene zu nutzen, um kohärente, qualitativ hochwertige Bilder über alle Daten hinweg zu erzeugen, ohne die multimodalen Verständnisfähigkeiten des Originalmodells zu beeinträchtigen. Dies unterstreicht die Wirksamkeit von MiniGPT-5 in verschiedenen Umgebungen 0,18 % generierten mehr Relevanz Texterzählungen in 52,06 % der Fälle, eine bessere Bildqualität in 52,06 % der Fälle und eine kohärentere multimodale Ausgabe in 57,62 % der Szenen. Verglichen mit einer zweistufigen Basislinie, die eine Text-zu-Bild-Erzählung ohne Konjunktivstimmung anwendet, zeigen diese Daten deutlich die stärkeren Fähigkeiten zur multimodalen Generierung.

    MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

    MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.MMDialog Mehrere Bewertungsrunden

    Gemäß den Ergebnissen in Tabelle 5 ist MiniGPT-5 bei der Generierung von Textantworten genauer als das Basismodell Divter. Obwohl die generierten Bilder von ähnlicher Qualität sind, übertrifft MiniGPT-5 das Basismodell in Bezug auf MM-Korrelationen, was darauf hindeutet, dass es besser lernen kann, die Bilderzeugung angemessen zu positionieren und hochkonsistente multimodale Antworten zu generieren

    Werfen wir einen Blick auf die Ausgabe von MiniGPT-5 und sehen, wie effektiv es ist. Abbildung 7 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell auf dem CC3M-Verifizierungssatz.

    MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

    Abbildung 8 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell auf dem VIST-Verifizierungssatz

    Abbildung 9 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell im MMDialog-Testsatz.

    MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

    Weitere Forschungsdetails finden Sie im Originalpapier.

Das obige ist der detaillierte Inhalt vonMiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Lesen des AI-Index 2025: Ist AI Ihr Freund, Feind oder Co-Pilot?Lesen des AI-Index 2025: Ist AI Ihr Freund, Feind oder Co-Pilot?Apr 11, 2025 pm 12:13 PM

Der Bericht des Stanford University Institute for Human-orientierte künstliche Intelligenz bietet einen guten Überblick über die laufende Revolution der künstlichen Intelligenz. Interpretieren wir es in vier einfachen Konzepten: Erkenntnis (verstehen, was geschieht), Wertschätzung (Sehenswürdigkeiten), Akzeptanz (Gesichtsherausforderungen) und Verantwortung (finden Sie unsere Verantwortlichkeiten). Kognition: Künstliche Intelligenz ist überall und entwickelt sich schnell Wir müssen uns sehr bewusst sein, wie schnell künstliche Intelligenz entwickelt und ausbreitet. Künstliche Intelligenzsysteme verbessern sich ständig und erzielen hervorragende Ergebnisse bei mathematischen und komplexen Denktests, und erst vor einem Jahr haben sie in diesen Tests kläglich gescheitert. Stellen Sie sich vor, KI zu lösen komplexe Codierungsprobleme oder wissenschaftliche Probleme auf Graduiertenebene-seit 2023-

Erste Schritte mit Meta Lama 3.2 - Analytics VidhyaErste Schritte mit Meta Lama 3.2 - Analytics VidhyaApr 11, 2025 pm 12:04 PM

Metas Lama 3.2: Ein Sprung nach vorne in der multimodalen und mobilen KI Meta hat kürzlich Lama 3.2 vorgestellt, ein bedeutender Fortschritt in der KI mit leistungsstarken Sichtfunktionen und leichten Textmodellen, die für mobile Geräte optimiert sind. Aufbau auf dem Erfolg o

AV -Bytes: META ' S Lama 3.2, Googles Gemini 1.5 und mehrAV -Bytes: META ' S Lama 3.2, Googles Gemini 1.5 und mehrApr 11, 2025 pm 12:01 PM

Die KI -Landschaft dieser Woche: Ein Wirbelsturm von Fortschritten, ethischen Überlegungen und regulatorischen Debatten. Hauptakteure wie OpenAI, Google, Meta und Microsoft haben einen Strom von Updates veröffentlicht, von bahnbrechenden neuen Modellen bis hin zu entscheidenden Verschiebungen in LE

Die menschlichen Kosten für das Gespräch mit Maschinen: Kann sich ein Chatbot wirklich darum kümmern?Die menschlichen Kosten für das Gespräch mit Maschinen: Kann sich ein Chatbot wirklich darum kümmern?Apr 11, 2025 pm 12:00 PM

Die beruhigende Illusion der Verbindung: Blühen wir in unseren Beziehungen zur KI wirklich auf? Diese Frage stellte den optimistischen Ton des "Fortschritts -Menschen mit AI) des MIT Media Lab in Frage. Während die Veranstaltung moderne EDG präsentierte

Verständnis der Scipy Library in PythonVerständnis der Scipy Library in PythonApr 11, 2025 am 11:57 AM

Einführung Stellen Sie sich vor, Sie sind ein Wissenschaftler oder Ingenieur, der sich mit komplexen Problemen befasst - Differentialgleichungen, Optimierungsherausforderungen oder Fourier -Analysen. Pythons Benutzerfreundlichkeit und Grafikfunktionen sind ansprechend, aber diese Aufgaben erfordern leistungsstarke Tools

3 Methoden zum Ausführen von LLAMA 3.2 - Analytics Vidhya3 Methoden zum Ausführen von LLAMA 3.2 - Analytics VidhyaApr 11, 2025 am 11:56 AM

METAs Lama 3.2: Ein multimodales KI -Kraftpaket Das neueste multimodale Modell von META, Lama 3.2, stellt einen erheblichen Fortschritt in der KI dar, das ein verbessertes Sprachverständnis, eine verbesserte Genauigkeit und die überlegenen Funktionen der Textgenerierung bietet. Seine Fähigkeit t

Automatisierung von Datenqualitätsprüfungen mit DagsterAutomatisierung von Datenqualitätsprüfungen mit DagsterApr 11, 2025 am 11:44 AM

Datenqualitätssicherung: Automatisieren von Schecks mit Dagster und großen Erwartungen Die Aufrechterhaltung einer hohen Datenqualität ist für datengesteuerte Unternehmen von entscheidender Bedeutung. Wenn Datenvolumina und Quellen zunehmen, wird die manuelle Qualitätskontrolle ineffizient und anfällig für Fehler.

Haben Mainframes eine Rolle in der KI -Ära?Haben Mainframes eine Rolle in der KI -Ära?Apr 11, 2025 am 11:42 AM

Mainframes: Die unbesungenen Helden der KI -Revolution Während die Server bei allgemeinen Anwendungen und mehreren Kunden übernommen werden, werden Mainframes für hochvolumige, missionskritische Aufgaben erstellt. Diese leistungsstarken Systeme sind häufig in Heavil gefunden

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

SecLists

SecLists

SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

Dreamweaver Mac

Dreamweaver Mac

Visuelle Webentwicklungstools

MinGW – Minimalistisches GNU für Windows

MinGW – Minimalistisches GNU für Windows

Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

VSCode Windows 64-Bit-Download

VSCode Windows 64-Bit-Download

Ein kostenloser und leistungsstarker IDE-Editor von Microsoft

EditPlus chinesische Crack-Version

EditPlus chinesische Crack-Version

Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion