Die Tsinghua-Universität und die Zhejiang-Universität sind führend bei der Explosion visueller Open-Source-Modelle, und GPT-4V, LLaVA, CogAgent und andere Plattformen bringen revolutionäre Veränderungen mit sich

Derzeit zeigt GPT-4 Vision erstaunliche Fähigkeiten im Sprachverständnis und in der visuellen Verarbeitung.

Für diejenigen, die jedoch eine kostengünstige Alternative ohne Kompromisse bei der Leistung suchen, sind Open-Source-Optionen eine Option mit unbegrenztem Potenzial.

Youssef Hosni ist ein ausländischer Entwickler, der uns drei Open-Source-Alternativen mit absolut garantierter Zugänglichkeit als Ersatz für GPT-4V zur Verfügung stellt.

Die drei Open-Source-Modelle für visuelle Sprache LLaVa, CogAgent und BakLLaVA haben großes Potenzial im Bereich der visuellen Verarbeitung und verdienen unser tiefgreifendes Verständnis. Die Forschung und Entwicklung dieser Modelle kann uns effizientere und genauere visuelle Verarbeitungslösungen bieten. Durch die Verwendung dieser Modelle können wir die Genauigkeit und Effizienz von Aufgaben wie Bilderkennung, Zielerkennung und Bilderzeugung verbessern und

Bilder

LLaVa

LLaVa ist eine multimodale Forschung und Anwendung im Bereich Visuelle Verarbeitung Großes Modell, entwickelt von einer Zusammenarbeit zwischen Forschern der University of Wisconsin-Madison, Microsoft Research und der Columbia University. Die erste Version wurde im April veröffentlicht.

Es kombiniert einen visuellen Encoder und Vicuna (für allgemeines visuelles und sprachliches Verständnis), um sehr gute Chat-Funktionen zu demonstrieren.

Bilder

Im Oktober lag die Leistung des aktualisierten LLaVA-1.5 nahe an der multimodalen GPT-4 und erzielte State-of-the-Art-Ergebnisse (SOTA) im Science-QA-Datensatz.

Bilder

Die Schulung des 13B-Modells kann an einem Tag mit nur 8 A100 abgeschlossen werden.

Bilder

Wie Sie sehen, kann LLaVA mit allen Arten von Fragen umgehen und die generierten Antworten sind sowohl umfassend als auch logisch.

LLaVA weist einige multimodale Fähigkeiten auf, die dem Niveau von GPT-4 nahekommen, mit einem relativen GPT-4-Wert von 85 % in Bezug auf visuellen Chat.

In Bezug auf die Begründung von Fragen und Antworten erreichte LLaVA sogar die neue SoTA – 92,53 % und besiegte damit die multimodale Denkkette.

Bilder

In Bezug auf das visuelle Denken ist seine Leistung sehr auffällig.

Bilder

Bilder

Frage: „Wenn es sachliche Fehler gibt, weisen Sie sie bitte darauf hin. Wenn nicht, sagen Sie mir bitte, was passiert in der Wüste?“

LLaVA kann nicht antworten noch völlig richtig.

Das aktualisierte LLaVA-1.5 gab die perfekte Antwort: „Auf dem Bild ist überhaupt keine Wüste zu sehen, es gibt Palmen, Strände, Stadtsilhouetten und ein großes Gewässer.“ , LLaVA-1.5 ist in Ordnung. Informationen aus dem Diagramm extrahieren und im erforderlichen Format beantworten, z. B. im JSON-Format ausgeben.

Bilder

Geben Sie LLaVA-1.5 ein Bild voller Obst und Gemüse, und es kann das Bild auch in JSON wie GPT-4V konvertieren.

Bild

Was bedeutet das Bild unten?

Bild

Dies ist eine vereinfachte Skizze basierend auf Nolans „Inception“. Um den Schwierigkeitsgrad zu erhöhen, wurde der Name des Charakters in ein Pseudonym geändert.

LLaVA-1.5 antwortete überraschend: „Dies ist ein Bild zum Film „Inception“. Es zeigt verschiedene Ebenen in der Traumwelt, und jede Ebene wird durch eine Linie dargestellt. Das Bild ist auf ein Blatt Papier geschrieben, das Papier wird auf einer Arbeitsplatte platziert.

Bilder

Darüber hinaus kann LLaVA-1.5 Verifizierungscodes ohne „Jailbreak“ erkennen.

Bild

Es kann auch erkennen, welche Art von Münze sich auf dem Bild befindet.

Bilder

Besonders beeindruckend ist, dass LLaVA-1.5 Ihnen auch sagen kann, welcher Rasse der Hund auf dem Bild angehört.

Bild

Einige Internetnutzer verwendeten Bing, um ein Bild eines Mannes in einem Wintermantel an einem sonnigen Sommerstrand zu erstellen, und baten LLaVA 1.5, auf die Probleme im Bild hinzuweisen. Sein Auge ist sehr scharf -

Dies ist ein bearbeitetes oder Photoshop-Foto, auf dem ein Mann eine Jacke trägt und am Strand steht. Der Mann öffnete seinen Mantel und die Sonne schien auf ihn herab. Das Problem bei diesem Bild ist, dass es sich nicht um eine echte Strandszene handelt. Der Mann stand nicht wirklich am Strand und die Sonne schien nicht auf ihn. Dieses Bild wurde mit Photoshop bearbeitet, um die Illusion einer Strandszene zu erzeugen, aber es gibt die Szene nicht wirklich wieder.

Bilder

OCR-Erkennung, die Leistung von LLaVA ist ebenfalls sehr leistungsstark. „Bilder“

CogAgent-18B verfügt über 11 Milliarden visuelle Parameter und 7 Milliarden Sprachparameter.

Bilder

Papieradresse: https://arxiv.org/pdf/2312.08914.pdf

CogAgent-18B erreicht eine hochmoderne allgemeine Leistung bei 9 klassischen modalübergreifenden Benchmarks (einschließlich VQAv2, OK-VQ, TextVQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet und POPE).

Es übertrifft bestehende Modelle für GUI-Manipulationsdatensätze wie AITW und Mind2Web deutlich.

Zusätzlich zu allen vorhandenen Funktionen von CogVLM (visualisierter Multi-Turn-Dialog, visuelle Erdung) bietet CogAgent.NET auch weitere Funktionen:

1 Unterstützt visuelle Eingaben mit höherer Auflösung und Dialogbeantwortung. Unterstützt die Bildeingabe mit ultrahoher Auflösung von 1120 x 1120.

2. Es bietet die Möglichkeit, Agenten zu visualisieren und den Plan, die nächste Aktion und den spezifischen Vorgang mit Koordinaten für jede bestimmte Aufgabe auf jedem Screenshot der grafischen Benutzeroberfläche anzuzeigen.

3. Die GUI-bezogene Fragebeantwortungsfunktion wurde verbessert, um Probleme im Zusammenhang mit Screenshots von beliebigen GUIs wie Webseiten, PC-Anwendungen, mobilen Anwendungen usw. zu lösen.

4. Erweiterte Funktionen für OCR-bezogene Aufgaben durch verbesserte Vorschulung und Feinabstimmung.

GUI Agent

Mit CogAgent können wir Schritt für Schritt die besten Papiere von CVPR23 finden.

Bilder

können uns helfen, das Telefondisplay in den hellen Modus zu schalten.

Bilder

Wie viele Likes und Retweets dieser Tweet hat und warum er so beliebt ist, kann CogAgent analysieren und sogar mit „Genial“ antworten.

Bilder

Wie wähle ich die schnellste Route von der University of Florida nach Hollywood? Wenn Sie um 8 Uhr beginnen, wie schätzen Sie ein, wie lange es dauern wird? CogAgent kann alle beantworten.

Bilder

Sie können ein bestimmtes Thema festlegen und CogAgent E-Mails an das angegebene Postfach senden lassen.

Bilder

Wenn Sie sich das Lied „You raise me up“ anhören möchten, kann CogAgent die Schritte Schritt für Schritt auflisten.

Bilder

CogAgent kann die Szenen in „Genshin Impact“ genau beschreiben und Ihnen auch dabei helfen, wie Sie zum Teleportationspunkt gelangen.

Bilder

BakLLaVA

BakLLaVA1 ist ein Mistral 7B-Basismodell, das mit der LLaVA 1.5-Architektur erweitert wurde.

In der ersten Version übertraf das Basismodell Mistral 7B das Llama 2 13B in mehreren Benchmarks.

In ihrem Repo können Sie BakLLaVA-1 ausführen. Die Seite wird ständig aktualisiert, um die Feinabstimmung und Argumentation zu erleichtern. (https://github.com/SkunkworksAI/BakLLaVA)

BakLLaVA-1 ist vollständig Open Source, wurde jedoch anhand einiger Daten, einschließlich des LLaVA-Korpus, trainiert und ist daher nicht für die kommerzielle Nutzung zugelassen.

BakLLaVA 2 verwendet einen größeren Datensatz und eine aktualisierte Architektur, um die aktuelle LLaVa-Methode zu übertreffen. BakLLaVA beseitigt die Einschränkungen von BakLLaVA-1 und kann kommerziell genutzt werden.

Referenz:

https://yousefhosni.medium.com/discover-4-open-source-alternatives-to-gpt-4-vision-82be9519dcc5

Das obige ist der detaillierte Inhalt vonDie Tsinghua-Universität und die Zhejiang-Universität sind führend bei der Explosion visueller Open-Source-Modelle, und GPT-4V, LLaVA, CogAgent und andere Plattformen bringen revolutionäre Veränderungen mit sich. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!