Ist Googles Imagin 3 die Zukunft der KI -Bilderstellung?

Einführung

Text-to-Image-Synthese und kontrastive Lernen von Bild-Text sind zwei der innovativsten multimodalen Lernanwendungen, die in jüngster Zeit an Popularität gewonnen werden. Mit ihren innovativen Anwendungen für die kreative Bildende und Manipulation haben diese Modelle die Forschungsgemeinschaft revolutioniert und ein erhebliches öffentliches Interesse geweckt.

Um weitere Forschungen durchzuführen, führte DeepMind Imagen ein. Dieses Diffusionsmodell für Text zu Image bietet einen beispiellosen Photorealismus und ein tiefgreifendes Verständnis der Sprache in der Text-zu-Image-Synthese, indem die Stärke von Transformator-Sprachmodellen (LMS) mit hohen Fidelity-Diffusionsmodellen verschmelzen.

Dieser Artikel beschreibt das Training und die Bewertung des neuesten Imagin -Modells von Google, Imageen 3. Imageen 3 kann standardmäßig mit der Auflösung von 1024 × 1024 auf die Ausgabe von Bildern konfiguriert werden, wobei die Option 2 ×, 4 × oder 8 × Upsampling anschließend angewendet wurde. Wir skizzieren unsere Analysen und Bewertungen im Vergleich zu anderen modernsten T2I-Modellen.

Wir haben festgestellt, dass Imageen 3 das beste Modell ist. Es zeichnet sich durch den Photorealismus und folgt komplizierte und langwierige Benutzeranweisungen an.

Überblick

1. Revolutionäres Text-zu-Image-Modell : Google's ImageN 3, ein Text-zu-Image-Diffusionsmodell von Google, liefert einen unvergleichlichen Fotorealismus und die Präzision bei der Interpretation detaillierter Benutzeraufforderungen.
2. Bewertung und Vergleich : Imageen 3 Excels in der Ausrichtung der Eingabeaufentwicklung und der visuellen Anziehungskraft, übertrifft Modelle wie Dall · E 3 und stabile Diffusion sowohl in automatisierten als auch bei menschlichen Bewertungen.
3. Datensatz- und Sicherheitsmaßnahmen : Der Schulungsdatensatz wird streng filteriert, um minderwertige oder schädliche Inhalte zu entfernen, um sicherere und genauere Ausgänge zu gewährleisten.
4. Architektonische Brillanz : Mit einem gefrorenen T5-XXL-Encoder und einem up-Sampling mit mehreren Schritten erzeugt ImageN 3 detaillierte Bilder bis zu 1024 × 1024 Auflösung.
5. Integration der realen Welt : Imageen 3 ist über die Vertex AI von Google Cloud zugänglich, wodurch sie einfach in Produktionsumgebungen für die kreative Bildgenerierung integriert werden kann.
6. Erweiterte Funktionen und Geschwindigkeit : Mit der Einführung von Imaging 3 schnell können Benutzer von einer Verringerung der Latenz um 40% profitieren, ohne die Bildqualität zu beeinträchtigen.

Inhaltsverzeichnis

• Datensatz: Sicherstellung von Qualität und Sicherheit im Training sicherstellen
• Architektur von Imagin
• Bewertung von Bildmodellen
• Menschliche Bewertung: Wie beurteilten die Bewerter die Ausgangsqualität von Imageen 3?
  • Allgemeine Benutzerpräferenz: Imaging 3 übernimmt die Führung in der kreativen Bildgenerierung
  • Ausrichtung der Eingabeaufforderung: Erfassen der Benutzerabsicht mit Präzision
  • Visuelle Anziehungskraft: Ästhetische Exzellenz über Plattformen hinweg
  • Detaillierte Ausrichtung der Eingabeaufforderung
  • Numerische Argumentation: Übertreffen Sie den Wettbewerb in der Objektzählgenauigkeit übertreffen
• Automatisierte Bewertung: Vergleich von Modellen mit Clip, Gecko und Vqascore
  • Eingabeaufforderung -Image -Ausrichtung
  • Bildqualität
• Qualitative Ergebnisse: Hervorhebung der Liebe zum Detail von Imageen 3 hervorgehoben
• Schlussfolgerung zur Bewertung
• Zugriff auf Imageen 3 über Scheitelpunkt AI: Eine Anleitung zur nahtlosen Integration
  • Verwenden von Scheitelpunkte AI
  • Mit Gemini
• Häufig gestellte Fragen

Datensatz: Sicherstellung von Qualität und Sicherheit im Training sicherstellen

Das Bildmodell wird mit einem großen Datensatz geschult, der Text, Bilder und verwandte Anmerkungen enthält. DeepMind verwendete mehrere Filtrationsphasen, um Qualitäts- und Sicherheitsanforderungen zu gewährleisten. Erstens werden alle Bilder als gefährlich, gewalttätig oder schlechter Qualität entfernt. Als nächstes entfernte DeepMind Bilder, die von AI erstellt wurden, um das Modell daran zu hindern, Verzerrungen oder Artefakte aufzunehmen, die häufig in solchen Bildern vorhanden sind. DeepMind verwendete auch nach unten ähnliche Bilder und Deduplizierungsverfahren, um die Möglichkeit von Ausgängen zu verringern, die bestimmte Schulungsdatenpunkte übertreffen.

Jedes Bild im Datensatz hat eine synthetische Bildunterschrift und eine ursprüngliche Bildunterschrift, die aus Alt -Text, menschlichen Beschreibungen usw. abgeleitet ist. Gemini -Modelle erzeugen synthetische Bildunterschriften mit unterschiedlichen Hinweisen. Um die Sprachvielfalt und Qualität dieser synthetischen Bildunterschriften zu maximieren, verwendete DeepMind mehrere Gemini -Modelle und -anweisungen. DeepMind verwendete verschiedene Filter, um potenziell schädliche Untertitel und persönlich identifizierbare Informationen zu beseitigen.

Architektur von Imagin

Imageen verwendet einen großen gefrorenen T5-XXL-Encoder, um den Eingabetxt in Einbettungen zu codieren. Ein bedingtes Diffusionsmodell ordnet den Text ein, der in ein 64 × 64 -Bild eingebettet ist. Imagen verwendet weiterhin textliche Superauflösungsdiffusionsmodelle, um das Bild 64 × 64 → 256 × 256 und 256 × 256 → 1024 × 1024 zu belasten.

Bewertung von Bildmodellen

DeepMind bewertet das Image 3 -Modell, das die beste Qualitätskonfiguration ist, gegen die Image 2 und die externen Modelle Dall · E 3, Midjourney V6, stabile Diffusion 3 große und stabile Diffusion xl 1.0. DeepMind stellte fest, dass Imageen 3 durch strenge Bewertungen durch Menschen und Maschinen einen neuen Stand der Kunst in der Erzeugung von Text-zu-Image-Erzeugung festlegt. Qualitative Ergebnisse und Schlussfolgerung in die Bewertung enthalten qualitative Ergebnisse und eine Diskussion der Gesamtbefindungen und -beschränkungen. Produktintegrationen mit ImageIn 3 können zu einer Leistung führen, die sich von der getesteten Konfiguration unterscheidet.

Lesen Sie auch: Wie verwendet man Dall-e 3 API für die Bildgenerierung?

Menschliche Bewertung: Wie beurteilten die Bewerter die Ausgangsqualität von Imageen 3?

Das Modell zur Erzeugung von Text zu Image wird an fünf Qualitätsaspekten bewertet: allgemeine Präferenz, Ausrichtung des Bildungsbildes, visueller Anziehungskraft, detaillierter Ausrichtung der Eingabeaufentwicklung und numerisches Denken. Diese Aspekte werden unabhängig beurteilt, um Verschiebungen der Beurteilungen der Bewerter zu vermeiden. Nebeneinander-Vergleiche werden zum quantitativen Beurteilungen verwendet, während numerisches Denken direkt bewertet werden kann, indem in einem Bild gezählt wird, wie viele Objekte eines bestimmten Typs dargestellt werden.

Die komplette ELO -Anzeigetafel wird durch einen umfassenden Vergleich jedes Modellepaares erzeugt. Jede Studie besteht aus 2500 Bewertungen, die gleichmäßig auf die Eingabeaufforderungen im Eingabeaufforderung festgelegt sind. Die Modelle sind in der Rater -Schnittstelle anonymisiert und die Seiten werden für jede Bewertung zufällig gemischt. Die Datenerfassung wird mit den besten Verfahren von Google DeepMind zur Datenanreicherung durchgeführt, um sicherzustellen, dass alle Mitarbeiter der Datenanreicherung mindestens einen lokalen Wohnlohn bezahlt. Die Studie sammelte 366.569 Bewertungen in 5943 Einreichungen von 3225 verschiedenen Bewertern. Jeder Bewerter nahm an höchstens 10% der Studien teil und lieferte ungefähr 2% der Bewertungen, um voreingenommene Ergebnisse für eine bestimmte Reihe von Bewertungsurteilen zu vermeiden. Bewerter aus 71 verschiedenen Nationalitäten nahmen an den Studien teil.

Allgemeine Benutzerpräferenz: Imaging 3 übernimmt die Führung in der kreativen Bildgenerierung

Die allgemeine Präferenz der Benutzer in Bezug auf das generierte Bild ist eine offene Frage, wobei die Bewerter entscheiden, welche Qualität Aspekte am wichtigsten sind. Zwei Bilder wurden den Bewertern präsentiert, und wenn beide gleichermaßen ansprechend waren, „bin ich gleichgültig“.

Die Ergebnisse zeigten, dass Imageen 3 auf Genai-Bench, Drawbench und Dall · E 3 eval signifikant bevorzugt war. Imagen 3 führte mit einem kleineren Rand auf DrawBench als stabiler Diffusion 3 und hatte eine leichte Kante bei Dall · e 3 eval.

Ausrichtung der Eingabeaufforderung: Erfassen der Benutzerabsicht mit Präzision

Die Studie bewertet die Darstellung einer Eingabeaufforderung in einem Ausgangsbildinhalt und ignoriert potenzielle Mängel oder ästhetische Attraktivität. Die Bewerter wurden gebeten, ein Bild auszuwählen, das die Absicht der Eingabeaufforderung besser erfasst und verschiedene Stile ignoriert. Die Ergebnisse zeigten, dass Imaging 3 Genai-Bench, Drawbench und Dall · E 3 bewertet, mit überlappenden Konfidenzintervallen. Die Studie legt nahe, dass das Ignorieren potenzieller Defekte oder schlechte Qualität in den Bildern die Genauigkeit der Ausrichtung der Umlaufbahnen verbessern kann.

Visuelle Anziehungskraft: Ästhetische Exzellenz über Plattformen hinweg

Visual Appeal misst die Berufung erzeugter Bilder unabhängig vom Inhalt. Die Bewerter bewerten zwei Bilder nebeneinander ohne Eingabeaufforderungen. Midjourney V6 führt mit Imagin 3 fast auf Genai-Bench, etwas größer auf DrawBench und ein erheblicher Vorteil bei Dall · e 3 eval.

Detaillierte Ausrichtung der Eingabeaufforderung

Die Studie bewertet die Funktionen zur Ausrichtung der Umlaufbahnen, indem Bilder aus detaillierten Eingabeaufforderungen von DOCCI generiert werden, die deutlich länger sind als frühere Eingabeaufforderung. Die Forscher stellten fest, dass das Lesen von 100 Wörtern für die menschlichen Bewerter zu schwierig war. Stattdessen verwendeten sie qualitativ hochwertige Bildunterschriften von realen Referenzfotografien, um die generierten Bilder mit Benchmark-Referenzbildern zu vergleichen. Die Bewerter konzentrierten sich auf die Semantik der Bilder, ignorierten Stile, Erfassungstechnik und Qualität. Die Ergebnisse zeigten, dass Imageen 3 eine signifikante Lücke von 114 ELO-Punkten und eine Gewinnrate von 63% gegenüber dem zweitbesten Modell aufwies, was seine ausstehenden Fähigkeiten bei der Befolgung des detaillierten Inhalts von Eingabeaufforderungen hervorhebt.

Numerische Argumentation: Übertreffen Sie den Wettbewerb in der Objektzählgenauigkeit übertreffen

Die Studie bewertet die Fähigkeit von Modellen, eine genaue Anzahl von Objekten unter Verwendung der Geckonum -Benchmark -Aufgabe zu generieren. Die Aufgabe beinhaltet den Vergleich der Anzahl der Objekte in einem Bild mit der in der Eingabeaufforderung angeforderten erwarteten Menge. Die Modelle berücksichtigen Attribute wie Farben und räumliche Beziehungen. Die Ergebnisse zeigen, dass Imageen 3 das stärkste Modell ist und Dall · e 3 um 12 Prozentpunkte übertreffen. Es hat auch eine höhere Genauigkeit beim Generieren von Bildern, die 2-5 Objekte und eine bessere Leistung für komplexere Satzstrukturen enthalten.

Automatisierte Bewertung: Vergleich von Modellen mit Clip, Gecko und Vqascore

In den letzten Jahren wurden automatische Bewertungsmetriken (Auto-Eval) wie Clip und Vqascore weiterhin verwendet, um die Qualität von Text-zu-Image-Modellen zu messen. Diese Studie konzentriert sich auf automatische Eval-Metriken für eine schnelle Bildausrichtung und Bildqualität, um menschliche Bewertungen zu ergänzen.

Eingabeaufforderung -Image -Ausrichtung

Die Forscher wählen drei starke Metriken zur Ausrichtung der automatischen Eval-Eingabeaufforderung: Kontrastive Dual-Encoders (CLIP), VQA-basierte (Gecko) und eine LVLM-Eingabeaufforderung (eine Implementierung von Vqascore2). Die Ergebnisse zeigen, dass Clip häufig die richtige Modellordnung nicht vorhergesagt hat, während Gecko und Vqascore gut abschneiden und ungefähr 72% der Fälle übereinstimmen. Vqascore hat den Rand, da es 80% der Zeit mit den Menschen mit den Menschen mit 73,3% entspricht. Gecko verwendet ein schwächeres Rückgrat, Pali, was den Leistungsunterschied verantwortlich machen kann.

Die Studie bewertet vier Datensätze, um Modellunterschiede unter verschiedenen Bedingungen zu untersuchen: Gecko-Rel, Docci-Test-Pivots, Dall · E 3 Eval und Genai-Bench. Die Ergebnisse zeigen, dass Imageen 3 konsequent die höchste Ausrichtungsleistung aufweist. SDXL 1 und Imageen 2 sind durchweg weniger leistungsfähig als andere Modelle.

Bildqualität

In Bezug auf die Bildqualität vergleichen die Forscher die Verteilung generierter Bilder mit Image 3, SDXL 1 und Dall · e 3 auf 30.000 Proben des MSCOCO-Kapion-Validierungssatzes unter Verwendung verschiedener Merkmalsräume und Distanzmetriken. Sie beobachten, dass die Minimierung dieser drei Metriken ein Kompromiss ist, der die Erzeugung natürlicher Farben und Texturen begünstigt, aber keine Verzerrungen an Objektformen und Teilen erfasst. Imageen 3 zeigt den niedrigeren CMMD-Wert der drei Modelle und zeigt seine starke Leistung auf hochmodernen Merkmalen von Feature-Raum.

Qualitative Ergebnisse: Hervorhebung der Liebe zum Detail von Imageen 3 hervorgehoben

Das Bild unten zeigt 2 Bilder, die auf 12 Megapixel hochgetastet wurden, wobei die Pflanzen die Detailpegel zeigen.

Schlussfolgerung zur Bewertung

Imagen 3 ist das Top-Modell bei der Ausrichtung der Eingabeaufforderung, insbesondere in detaillierten Eingabeaufforderungen und Zählfähigkeiten. In Bezug auf die visuelle Anziehungskraft übernimmt Midjourney V6 die Führung, wobei Imageen 3 zweiter Platz belegt. Es gibt jedoch immer noch Mängel in bestimmten Fähigkeiten, wie z. B. numerisches Denken, Maßstab, Zusammensetzung, Aktionen, räumliches Denken und komplexe Sprache. Diese Modelle kämpfen mit Aufgaben, die numerisches Denken, Maßstab, Zusammensetzung und Handlungen erfordern. Insgesamt ist Imageen 3 die beste Wahl für hochwertige Ausgänge, die die Absicht der Benutzer respektieren.

Zugriff auf Imageen 3 über Scheitelpunkt AI: Eine Anleitung zur nahtlosen Integration

Verwenden von Scheitelpunkte AI

Um mit der Vertex AI zu beginnen, müssen Sie über ein vorhandenes Google Cloud -Projekt verfügen und die Scheitelpunkt -AI -API aktivieren. Erfahren Sie mehr über das Erstellen eines Projekts und eine Entwicklungsumgebung.

Auch hier ist der GitHub -Link - Siehe

 Scheitelpunkt importieren

von vertexai.preview.vision_models importieren importierenmodel importieren

# TODO (Entwickler): Aktualisieren Sie Ihre Projekt -ID aus der Vertex AI -Konsole

project_id = "project_id"

vertexai.init (project = project_id, location = "us-central1"))

Generation_Model = ImageGenerationModel.From_Pretrained ("Imagin-3.0-Generate-001")

fordert = "" ""

Ein fotorealistisches Bild eines Kochbuchs, das auf einem Holzküchentisch liegt. Die Abdeckung nach vorne mit einer lächelnden Familie, die an einem ähnlichen Tisch sitzt. Das Kochbuch beleuchtet die Szene.

"" "

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Textrendern

Imageen 3 eröffnet auch neue Möglichkeiten in Bezug auf die Textrendern von Insider -Bildern. Das Erstellen von Bildern von Postern, Karten und Social -Media -Posts mit Bildunterschriften in verschiedenen Schriftarten und Farben ist eine großartige Möglichkeit, mit diesem Tool zu experimentieren. Um diese Funktion zu verwenden, schreiben Sie einfach eine kurze Beschreibung dessen, was Sie in der Eingabeaufforderung sehen möchten. Stellen wir uns vor, Sie möchten das Cover eines Kochbuchs ändern und einen Titel hinzufügen.

 fordert = "" ""

Ein fotorealistisches Bild eines Kochbuchs, das auf einem Holzküchentisch liegt. Die Abdeckung nach vorne mit einer lächelnden Familie, die an einem ähnlichen Tisch sitzt. Das Kochbuch beleuchtet die Szene.

Fügen Sie in der Mitte des Kochbuch -Covers einen Titel hinzu "Alltagsrezepte" in orangefarbenen Blockbuchstaben. 

"" "

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Reduzierte Latenz

DeepMind bietet Imaging 3 Fast, ein Modell, das für die Erzeugungsgeschwindigkeit optimiert ist, zusätzlich zu ImageN 3, seinem bisher höchsten Modell mit höchster Qualität. Image 3 Fast ist geeignet, um Bilder mit größerer Kontrast und Helligkeit zu erzeugen. Sie können eine 40% ige Verringerung der Latenz im Vergleich zu Imageen 2 beobachten. Sie können dieselbe Eingabeaufforderung verwenden, um zwei Bilder zu erstellen, die diese beiden Modelle veranschaulichen. Erstellen wir zwei Alternativen für das Salatfoto, das wir in das zuvor erwähnte Kochbuch aufnehmen können.

 Generation_Model_fast = ImageGenerationModel.From_Pretrained (

    "Imagin-3.0-Spast-Generate-001"

)

fordert = "" ""

Ein fotorealistisches Bild eines Gartensalats mit bunten Gemüse wie Paprika, Gurken, Tomaten und Blattgrün, sitzt in einer Holzschüssel in der Mitte des Bildes auf einem weißen Marmortisch. Das natürliche Licht beleuchtet die Szene, wirft weiche Schatten und hebt die Frische der Zutaten hervor. 

"" " 

# Imageen 3 schnelle Bildgenerierung

fast_image = Generation_Model_fast.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

 fordert = "" ""

Ein fotorealistisches Bild eines Gartensalats mit bunten Gemüse wie Paprika, Gurken, Tomaten und Blattgrün, sitzt in einer Holzschüssel in der Mitte des Bildes auf einem weißen Marmortisch. Das natürliche Licht beleuchtet die Szene, wirft weiche Schatten und hebt die Frische der Zutaten hervor. 

"" " 

# Imageen 3 Bildgenerierung

Image = Generation_Model.generate_images (

    Eingabeaufforderung = Eingabeaufforderung,

    number_of_images = 1,,

    Aspekt_ratio = "1: 1",

    Safety_Filter_Level = "Block_some",

    person_generation = "degal_all",

)

Mit Gemini

Gemini unterstützt die Verwendung des neuen Imagin 3, daher verwenden wir Gemini, um im Bild unten auf Imaglen zuzugreifen. Im Bild unten können wir sehen, dass Gemini Bilder mit Imagen 3 erzeugt.

Eingabeaufforderung - „Erzeugen Sie ein Bild eines Löwen, der auf Stadtstraßen spazieren geht. Straßen haben Autos, Fahrräder und einen Bus. Achten Sie darauf, dass Sie es realistisch machen.“

Abschluss

Googles Imageen 3 setzt einen neuen Benchmark für die Text-zu-Image-Synthese, die sich im Photorealismus übertrifft und komplexe Eingabeaufforderungen mit außergewöhnlicher Genauigkeit bearbeiten. Die starke Leistung über mehrere Bewertungsbenchmarks hinweg unterstreicht seine Fähigkeiten in detaillierter Ausrichtung und visueller Anziehungskraft und übertroffene Modelle wie Dall · E 3 und stabile Diffusion. Es steht jedoch immer noch Herausforderungen bei Aufgaben, die numerische und räumliche Argumente betreffen. Mit der Hinzufügung von Imageen 3 schnell für reduzierte Latenz und Integration mit Tools wie Vertex AI eröffnet Imageen 3 aufregende Möglichkeiten für kreative Anwendungen und überschreiten die Grenzen der multimodalen KI.

Wenn Sie online nach einem generativen KI -Kurs suchen, erkunden Sie noch heute das Genai Pinnacle -Programm!

Häufig gestellte Fragen

Q1. Was lässt Googles Imagin 3 in der Text-zu-Image-Synthese hervorheben?

ANS Imagin 3 zeichnet sich im Photorealismus und kompliziertem Umgang mit der Eingabeaufforderung aus und liefert im Vergleich zu anderen Modellen wie Dall · E 3 und stabiler Diffusion überlegene Bildqualität und -ausrichtung.

Q2. Wie handelt es sich um komplexe Eingabeaufforderungen?

Ans. Imageen 3 wurde so konzipiert, dass detaillierte und langwierige Eingabeaufforderungen effektiv verwaltet werden, was eine starke Leistung bei der Ausrichtung der Eingabeaufentwicklung und der detaillierten Inhaltsdarstellung zeigt.

Q3. Welche Datensätze werden verwendet, um Imaging 3 zu trainieren?

Ans. Das Modell wird in einem großen, vielfältigen Datensatz mit Text, Bildern und Anmerkungen geschult und filtriert, um den Inhalt von AI-generierten Inhalten, schädliche Bilder und Daten mit schlechter Qualität auszuschließen.

Q4. Wie unterscheidet sich Imaging 3 schnell von der Standardversion?

Ans. Image 3 Fast wird für Geschwindigkeit optimiert und bietet eine Verringerung der Latenz um 40% im Vergleich zur Standardversion und hält gleichzeitig eine qualitativ hochwertige Bilderzeugung.

Q5. Kann Image 3 in Produktionsumgebungen integriert werden?

Ans. Ja, Imaging 3 kann mit der Vertex -KI von Google Cloud verwendet werden, sodass eine nahtlose Integration in Anwendungen für Bildgenerierung und kreative Aufgaben in die Bildung und kreative Aufgaben ermöglicht werden kann.

Das obige ist der detaillierte Inhalt vonIst Googles Imagin 3 die Zukunft der KI -Bilderstellung?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!