Andrew Ngs VisionAgent: STROMING SISION AI -Lösungen

VisionAgent: Revolutionierung der Computer -Vision -Anwendung von Computer

Computer Vision verändert Branchen wie Gesundheitswesen, Fertigung und Einzelhandel. Das Aufbau von Visionsbasierten Lösungen ist jedoch häufig komplex und zeitaufwändig. Landingai, angeführt von Andrew Ng, führt VisionAgent vor, einen generativen visuellen KI -Anwendungsbauer, der den gesamten Prozess vereinfacht - von Erstellung und Iteration bis zur Bereitstellung.

Die Erkennung von Agentenobjekten von 🎜> VisionAgent beseitigt die Notwendigkeit einer langen Datenmarkierung und des Modelltrainings, wodurch herkömmliche Objekterkennungsmethoden übertrifft. Die Erkennung von Text prompt basierend ermöglicht eine schnelle Prototypierung und Bereitstellung, wobei erweitertes Denken für hochwertige Ergebnisse und vielseitige komplexe Objekterkennung verwendet werden.

Schlüsselfunktionen umfassen:

• Erkennung von Text Eingabeaufforderung: Keine Datenkennzeichnung oder Modelltraining erforderlich.
• Erweiterte Argumentation: sorgt für genaue, hochwertige Ausgänge.
• Vielseitige Erkennung: verarbeitet komplexe Objekte und Szenarien effektiv.

VisionAgent übertrifft die einfache Codegenerierung; Es fungiert als Assistent mit KI und führt Entwickler durch Planung, Werkzeugauswahl, Codegenerierung und Bereitstellung. Diese AI -Unterstützung ermöglicht es den Entwicklern, in Minuten und nicht in Wochen zu iterieren.

Inhaltsverzeichnis

Visionagent Ökosystem
Benchmark -Bewertung
Visionagent in Aktion
• Eingabeaufforderung: "Gemüse im und um den Korb erfassen"
• Eingabeaufforderung: "Red Car im Video identifizieren"
Schlussfolgerung

Visionagent Ökosystem

VisionAgent umfasst drei Kernkomponenten für eine optimierte Entwicklungserfahrung:

VisionAgent Web App
VisionAgent Library
VisionAgent Tools Library

ihre Interaktion verstehen, ist entscheidend, um das Potenzial von Visionagent zu maximieren.

1. VisionAgent Web App

Die VisionAgent-Web-App ist eine benutzerfreundliche, gehostete Plattform für Prototypen, Verfeinerung und Bereitstellung von Visionsanwendungen ohne umfangreiche Einrichtung. Die intuitive Weboberfläche ermöglicht Benutzern:

leicht hochladen und verarbeiten Daten.
Generieren und testen Sie Computer Vision Code.
visualisieren und passen Sie die Ergebnisse an.
Lösungen als Cloud -Endpunkte oder streamlit -Apps bereitstellen.

Dieser Ansatz mit niedrigem Code ist ideal für das Experimentieren mit AI-angetriebenen Sehanwendungen ohne komplexe lokale Entwicklungsumgebungen.

2. VisionAgent Library

Die VisionAgent-Bibliothek bildet den Kern des Frameworks und bietet wesentliche Funktionen für die Erstellung und Bereitstellung von AI-gesteuerten Vision-Anwendungen programmgesteuert. Zu den wichtigsten Funktionen gehören:

• Agentenbasierte Planung: generiert mehrere Lösungen und wählt automatisch die optimale Auswahl.
• Werkzeugauswahl und -ausführung: wählt dynamisch geeignete Tools für verschiedene Sehaufgaben aus.
• Codegenerierung und -bewertung: erzeugt effiziente pythonbasierte Implementierungen.
• Integrierte Vision Model Support: Verwendet verschiedene Computer-Vision-Modelle für Objekterkennung, Bildklassifizierung und Segmentierung.
• Lokale und Cloud-Integration: Ermöglicht die lokale Ausführung oder nutzt Landingai's Cloud-gehostete Modelle für die Skalierbarkeit.

Eine streamlitbetriebene Chat-App bietet eine intuitivere Interaktion für Benutzer, die eine Chat-Oberfläche bevorzugen.

3. VisionAgent Tools Library

Die VisionAgent Tools-Bibliothek bietet eine Sammlung von vorgefertigten, pythonbasierten Tools für bestimmte Computer-Vision-Aufgaben:

• Objekterkennung: identifiziert und lokalisiert Objekte in Bildern oder Videos.
• Bildklassifizierung: kategorisiert Bilder basierend auf trainierten AI -Modellen.
• QR -Code Lesen: extrahiert Informationen aus QR -Codes.
• Elementzählung: Zählt Objekte für Inventar oder Verfolgung.

Diese Tools interagieren über ein dynamisches Modellregister mit verschiedenen Sehmodellen und ermöglichen es nahtloses Modellschalten. Entwickler können auch benutzerdefinierte Tools registrieren. Beachten Sie, dass Bereitstellungsdienste nicht in der Tools -Bibliothek enthalten sind.

Benchmark -Bewertung

1. Modelle & Ansätze

• Landung AI (Agentenobjekterkennung): Agentenkategorie.
• Microsoft Florence-2: Open Set-Objekterkennung.
• Google Owlv2: Set -Objekterkennung öffnen.
• Alibaba Qwen2.5-VL-7B-Instruktur: großes multimodales Modell (LMM).

2. Bewertungsmetriken

Modelle wurden unter Verwendung:

bewertet

• ANFAHREN: misst die Fähigkeit des Modells, alle relevanten Objekte zu identifizieren.
• Genauigkeit: misst die Genauigkeit von Erkennungen (weniger falsch positive Aspekte).
• F1 Score: Ein ausgewogenes Maß für Präzision und Rückruf.

3. Leistungsvergleich

Modell

Rückruf

Präzision

F1 -Score

Landung ai

77,0%

82,6%

Model	Recall	Precision	F1 Score
Landing AI	77.0%	82.6%	79.7% (highest)
Microsoft Florence-2	43.4%	36.6%	39.7%
Google OWLv2	81.0%	29.5%	43.2%
Alibaba Qwen2.5-VL-7B-Instruct	26.0%	54.0%	35.1%

79,7% (höchstes)

Microsoft Florence-2

43,4%

36,6%

39,7%

Google Owlv2

81,0%

29,5%

43,2%

Alibaba Qwen2.5-VL-7B-Instruct

26,0%

54,0%

35,1%

4. Schlüsselergebnisse

Die Erkennung der Agentenobjekte von AI von AI erreichte den höchsten F1 -Score, was auf das beste Gleichgewicht zwischen Präzision und Rückruf hinweist. Andere Modelle zeigten Kompromisse zwischen Rückruf und Präzision.

Visionagent in Aktion

VisionAgent verwendet einen strukturierten Workflow:

1. Laden Sie das Bild oder Video hoch.

2. Geben Sie eine Textaufforderung an (z. B. "Menschen mit einer Brille erkennen").

3. VisionAgent analysiert den Eingang.

4. Empfangen Sie die Erkennungsergebnisse.

5. Eingabeaufforderung: "Gemüse im und um den Korb erfassen"

Schritt 1: Interaktion

Der Benutzer initiiert die Anfrage mit natürlicher Sprache. VisionAgent bestätigt das Verständnis.

Eingabebild

Interaktionsbeispiel

"Ich generiere Code, um Gemüse innerhalb und außerhalb des Korbs mithilfe der Objekterkennung zu erkennen."

Schritt 2: Planung

VisionAgent bestimmt den besten Ansatz:

Bildinhalt verstehen mithilfe der visuellen Fragenbeantwortung (VQA).
Erstellen Sie Vorschläge für die Erkennungsmethode.
Wählen Sie entsprechende Tools (Objekterkennung, farbbasierte Klassifizierung).

Schritt 3: Ausführung

Der Plan wird mit der VisionAgent Library und der Tools Library ausgeführt.

Beobachtung und Ausgabe

VisionAgent liefert strukturierte Ergebnisse:

nach Ort kategorisierte Gemüse (Innen-/Außenkorb).
Benzkastenkoordinaten für jedes Gemüse.
Ein bereitbares AI -Modell.

Ausgangsbeispiele

2. Eingabeaufforderung: "Red Car im Video identifizieren"

Dieses Beispiel folgt einem ähnlichen Prozess unter Verwendung von Videorahmen, VQA und Vorschlägen zur Identifizierung und Verfolgung des roten Autos. Die Ausgabe würde das verfolgte Auto im gesamten Video zeigen. (Ausgangsbildbeispiele für die Kürze weggelassen, aber ähnlich wie die Gemüseerkennungsausgabe ähnlich).

Schlussfolgerung

VisionAgent rationalisiert die Entwicklung von AI-gesteuerten Visionsanwendungen, automatisiert mühsame Aufgaben und bietet bereitungsfähige Tools. Seine Geschwindigkeit, Flexibilität und Skalierbarkeit kommen KI -Forschern, Entwicklern und Unternehmen zugute. Zukünftige Fortschritte werden wahrscheinlich leistungsfähigere Modelle und breitere Anwendungsunterstützung beinhalten.

Das obige ist der detaillierte Inhalt vonAndrew Ngs VisionAgent: STROMING SISION AI -Lösungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!