


Die Zielerkennung ist eine sehr wichtige Grundaufgabe in der Computer-Vision. Bei der Zielerkennung muss das Modell zusätzlich zur gegebenen Zielkategorie auch die Positions- und Größeninformationen angeben Aufgrund der Hauptaufgaben des Lebenslaufs (Identifizierung, Erkennung und Segmentierung) kommt ihm eine Schlüsselposition als Bindeglied zwischen der Vergangenheit und der Zukunft zu.
Der derzeit beliebte multimodale GPT-4 verfügt nur über die Fähigkeit zur Zielerkennung in Bezug auf die visuellen Fähigkeiten und ist nicht in der Lage, schwierigere Zielerkennungsaufgaben zu lösen. Das Erkennen der Kategorie-, Standort- und Größeninformationen von Objekten in Bildern oder Videos ist der Schlüssel zu vielen Anwendungen der künstlichen Intelligenz in der realen Produktion, wie z. B. der Fußgänger- und Fahrzeugerkennung beim autonomen Fahren, der Gesichtserkennung bei Sicherheitsüberwachungsanwendungen und der medizinischen Bildanalyse von Tumoren , usw.
Bestehende Zielerkennungsmethoden wie die YOLO-Serie, die R-CNN-Serie und andere Zielerkennungsalgorithmen haben aufgrund der kontinuierlichen Bemühungen wissenschaftlicher Forscher jedoch eine hohe Zielerkennungsgenauigkeit und -effizienz erreicht Modelltraining Definieren Sie einfach den Satz (geschlossener Satz) der zu erkennenden Ziele, sodass sie keine Ziele außerhalb des Trainingssatzes erkennen können. Darüber hinaus können vorhandene Methoden nicht zum Erkennen von Fahrzeugen verwendet werden Wenn bei gekennzeichneten Daten die zu erkennenden Zielkategorien hinzugefügt oder geändert werden müssen, müssen einerseits die Trainingsdaten neu gekennzeichnet werden und andererseits muss das Modell neu gekennzeichnet werden -geschult, was zeit- und arbeitsintensiv ist.
Eine mögliche Lösung besteht darin, umfangreiche Bilder zu sammeln und Box-Informationen und semantische Informationen manuell zu kennzeichnen. Dies erfordert jedoch extrem hohe Kennzeichnungskosten, und die Verwendung umfangreicher Daten zum Trainieren des Erkennungsmodells stellt auch wissenschaftliche Forscher vor Herausforderungen Die Long-Tail-Verteilung der Daten und die instabile Qualität der manuellen Annotation wirken sich auf die Leistung des Erkennungsmodells aus.
Der in CVPR 2021 veröffentlichte Artikel OVR-CNN [1] schlägt ein neues Zielerkennungsparadigma vor: Open-Vocabulary Detection (OVD, auch bekannt als Open-World-Zielerkennung) zur Bewältigung des oben genannten Problems ist das Erkennungsszenario von unbekannte Objekte in der offenen Welt.
OVD hat seit seiner Einführung kontinuierliche Aufmerksamkeit in Wissenschaft und Industrie auf sich gezogen, da es in der Lage ist, eine beliebige Anzahl und Kategorie von Zielen zu identifizieren und zu lokalisieren, ohne die Menge der annotierten Daten manuell zu erweitern, und hat auch großen Erfolg bei der klassischen Zielerkennung gebracht Es bringt neue Vitalität und neue Herausforderungen mit sich und wird voraussichtlich zu einem neuen Paradigma für die Zielerkennung werden.
Insbesondere erfordert die OVD-Technologie keine manuelle Annotation von Massenbildern, um die Erkennungsfähigkeit des Erkennungsmodells für unbekannte Kategorien zu verbessern. Stattdessen wird ein klassenunabhängiger Bereichsdetektor mit einer guten Verallgemeinerung kombiniert Das auf unbeschrifteten Daten trainierte Modell wird kombiniert, um die Fähigkeit des Zielerkennungsmodells zu erweitern, Open-World-Ziele durch modalübergreifende Ausrichtung von Bildbereichsmerkmalen und beschreibendem Text des zu erkennenden Ziels zu verstehen.
Die kreuz- und multimodale Arbeit an großen Modellen wie CLIP [2], ALIGN [3] und R2D2 [4] usw. hat sich in letzter Zeit sehr schnell entwickelt, und ihre Entwicklung hat auch die Entstehung von OVD gefördert und das Gebiet der OVD. Schnelle Iteration und Weiterentwicklung verwandter Arbeiten.
Die OVD-Technologie beinhaltet die Lösung von zwei Schlüsselproblemen: 1) Wie kann die Anpassung zwischen Regionsinformationen und modalübergreifenden großen Modellen verbessert werden? 2) Wie kann die Verallgemeinerungsfähigkeit von kategorienübergreifenden Zieldetektoren verbessert werden? Aus diesen beiden Perspektiven werden im Folgenden einige verwandte Arbeiten im Bereich OVD ausführlich vorgestellt.
OVD-Grundprozessdiagramm [1]
Grundlegende Konzepte von OVD: Die Verwendung von OVD umfasst hauptsächlich zwei Hauptszenarien: wenige Schüsse und Null-Schüsse, wenige Schüsse Es bezieht sich auf die Zielkategorie mit einer kleinen Anzahl manuell beschrifteter Trainingsbeispiele, während sich Zero-Shot auf die Zielkategorie ohne manuell beschriftete Trainingsbeispiele bezieht. In den häufig verwendeten akademischen Bewertungsdatensätzen COCO und LVIS ist der Datensatz in Basisklasse und Romanklasse unterteilt, wobei die Basisklasse dem Wenig-Schuss-Szenario und die Roman-Klasse dem Null-Schuss-Szenario entspricht. Beispielsweise enthält der COCO-Datensatz 65 Kategorien, und eine übliche Bewertungseinstellung besteht darin, dass der Basissatz 48 Kategorien enthält und nur diese 48 Kategorien im Training mit wenigen Schüssen verwendet werden. Das Novel-Set enthält 17 Kategorien, die während des Trainings völlig unsichtbar sind. Die Testindikatoren beziehen sich zum Vergleich hauptsächlich auf den AP50-Wert der Novel-Klasse.
Nr.Papieradresse: https://arxiv.org/pdf/2011.10678.pdf
#🎜 🎜#
- OVR-CNN ist der mündliche Vortrag des CVPR 2021 und eine Pionierarbeit im OVD-Bereich. Sein zweistufiges Trainingsparadigma hat viele nachfolgende OVD-Arbeiten beeinflusst. Wie in der folgenden Abbildung dargestellt, verwendet die erste Stufe hauptsächlich Bildunterschriftenpaare, um den visuellen Encoder vorab zu trainieren. Dabei wird BERT (feste Parameter) zum Generieren von Wortmasken verwendet und ein schwach überwachter Grounding-Matching wird mit ResNet50 durchgeführt, das mit ImageNet geladen ist Aufgrund der vorab trainierten Gewichte geht der Autor davon aus, dass eine schwache Überwachung dazu führen wird, dass die Übereinstimmung in die lokale Optimalität fällt. Daher wird ein multimodaler Transformator zur Wortmaskenvorhersage hinzugefügt, um die Robustheit zu erhöhen.
Papier 2: RegionCLIP: Regionsbasierte Sprache- Bild Pretraining
#🎜🎜 # Papieradresse: https ://arxiv.org/abs/2112.09106
Codeadresse: https://github.com/microsoft /RegionCLIP#🎜 ??? Im Rahmen der modalen Großmodellforschung haben wissenschaftliche Forscher damit begonnen, leistungsfähigere modalübergreifende Großmodelle wie CLIP und ALIGN zum Trainieren von OVD-Aufgaben zu verwenden. Das Detektormodell selbst zielt hauptsächlich auf die Klassifizierung und Identifizierung von Vorschlägen ab. RegionCLIP [5] hat im CVPR 2022 herausgefunden, dass die Klassifizierungsfähigkeit derzeit vorhandener großer Modelle wie CLIP für beschnittene Gebiete viel geringer ist Um die Klassifizierung des Originalbildes selbst zu verbessern, schlägt RegionCLIP ein neues zweistufiges OVD-Schema vor.
- In der ersten Phase verwendet der Datensatz hauptsächlich CC3M, COCO- Bildunterschrift usw. Der Bild-Text-Matching-Datensatz ist für die Destillation auf Regionsebene vorab trainiert. Konkret:
-
1. Extrahieren Sie die Wörter, die ursprünglich im Langtext vorhanden waren, um einen Konzeptpool zu bilden, und bilden Sie anschließend eine Reihe einfacher Beschreibungen über die Region für das Training.
2. Verwenden Sie RPN basierend auf dem LVIS-Vortraining, um Vorschlagsregionen zu extrahieren, und verwenden Sie Original-CLIP, um die extrahierten verschiedenen Regionen mit den vorbereiteten Beschreibungen abzugleichen und zu klassifizieren und sie weiter zu gefälschten semantischen Etiketten zusammenzusetzen.
3. Führen Sie ein Region-Text-Vergleichslernen mit dem neuen CLIP-Modell mit den vorbereiteten Vorschlagsregionen und semantischen Bezeichnungen durch und erhalten Sie dann ein CLIP-Modell, das auf Regionsinformationen spezialisiert ist.
4. Im Vorfeld des Trainings lernt das neue CLIP-Modell auch die Klassifizierungsfähigkeit des ursprünglichen CLIP durch die Destillationsstrategie und führt ein Bild-Text-Vergleichslernen auf der Vollbildebene durch, um den Ausdruck des neuen CLIP-Modells beizubehalten die vollständige Bildfähigkeit.
In der zweiten Stufe wird das erhaltene vorab trainierte Modell zum Transferlernen auf das Erkennungsmodell übertragen.
RegionCLIP erweitert die Darstellungsmöglichkeiten vorhandener modalübergreifender großer Modelle gegenüber herkömmlichen Erkennungsmodellen und erzielt eine bessere Leistung. Wie in der Abbildung unten gezeigt, ist RegionCLIP bei Verbesserungen in der Kategorie „Novel“ besser als OVR-CNN wurden gemacht. RegionCLIP verbessert effektiv die Anpassungsfähigkeit zwischen Regionsinformationen und multimodalen großen Modellen durch einstufiges Vortraining. CORA geht jedoch davon aus, dass die Trainingskosten steigen, wenn ein größeres modalübergreifendes großes Modell mit einer größeren Parameterskala für einstufiges Training verwendet wird sehr hoch sein. ?? Papieradresse: https://arxiv .org/abs/2303.13076
Codeadresse: https://github.com/tgxs002/CORACORA [6] wurde in CVPR 2023 aufgenommen, um die aktuelle OVD zu überwinden Von ihm vorgeschlagen Um die beiden Hindernisse zu überwinden, mit denen diese Aufgabe konfrontiert ist, wurde ein DETR-ähnliches OVD-Modell entworfen. Wie im Titel des Artikels gezeigt, umfasst das Modell hauptsächlich zwei Strategien: Region Prompting und Anchor Pre-Matching. Ersteres nutzt die Prompt-Technologie, um die vom CLIP-basierten Regionalklassifikator extrahierten regionalen Merkmale zu optimieren und so die Verteilungslücke zwischen dem Ganzen und der Region zu verringern. Letzteres nutzt die Ankerpunkt-Pre-Matching-Strategie in der DETR-Erkennungsmethode, um die OVD zu verbessern Die Fähigkeit des Modells, neue Objekttypen zu positionieren.
- CLIP Es besteht eine Verteilungslücke zwischen den Gesamtbildmerkmalen und den regionalen Merkmalen des ursprünglichen visuellen Encoders, was wiederum zu einer geringeren Klassifizierungsgenauigkeit des Detektors führt (dies ähnelt dem Ausgangspunkt von RegionCLIP). ). Daher schlägt CORA Region Prompting vor, um sich an den CLIP-Bildcodierer anzupassen und die Klassifizierungsleistung regionaler Informationen zu verbessern. Konkret wird das gesamte Bild zunächst über die ersten drei Schichten des CLIP-Encoders in eine Feature-Map codiert. Anschließend werden durch RoI Align Ankerboxen oder Vorhersageboxen generiert und mit regionalen Features zusammengeführt. Dies wird dann von der vierten Schicht des CLIP-Bildkodierers kodiert. Um die Verteilungslücke zwischen der Vollbild-Feature-Map und den regionalen Features des CLIP-Bildencoders zu schließen, werden lernbare Regions-Prompts eingerichtet und mit den von der vierten Ebene ausgegebenen Features kombiniert, um die endgültigen regionalen Features zur Verwendung mit Text-Features zu generieren Für das Matching verwendet der Matching-Verlust einen naiven Kreuzentropieverlust, und alle mit CLIP verbundenen Parametermodelle werden während des Trainingsprozesses eingefroren.
CORA ist ein DETR-ähnliches Detektormodell, ähnlich wie DETR, das ebenfalls die Anker-Pre-Matching-Strategie verwendet, um im Voraus Kandidatenboxen für das Box-Regressionstraining zu generieren. Insbesondere ordnet der Anker-Vorabgleich jedes Label-Feld dem nächstgelegenen Satz von Anker-Feldern zu, um zu bestimmen, welche Anker-Felder als positive Proben und welche als negative Proben betrachtet werden sollten. Dieser Matching-Prozess basiert normalerweise auf der IoU (Intersection-over-Union-Ratio). Wenn die IoU zwischen der Ankerbox und der Labelbox einen vordefinierten Schwellenwert überschreitet, wird sie als positive Stichprobe betrachtet, andernfalls wird sie als negative Stichprobe betrachtet. CORA zeigt, dass diese Strategie die Verallgemeinerung von Lokalisierungsfähigkeiten auf neue Kategorien effektiv verbessern kann.
Die Verwendung des Anker-Pre-Matching-Mechanismus bringt jedoch auch einige Probleme mit sich. Beispielsweise kann er nur dann normal funktionieren, wenn mindestens ein Ankerfeld mit dem Etikettenfeld übereinstimmt. Zug. Andernfalls wird das Beschriftungsfeld ignoriert, wodurch eine Modellkonvergenz verhindert wird. Selbst wenn das Beschriftungsfeld ein genaueres Ankerpunktfeld erhält, wird das Beschriftungsfeld aufgrund der begrenzten Erkennungsgenauigkeit des Regionsklassifikators möglicherweise immer noch ignoriert, dh die dem Beschriftungsfeld entsprechenden Kategorieinformationen stimmen nicht mit dem überein Regionsklassifikator basierend auf CLIP-Training. Daher nutzt CORA die CLIP-Aligned-Technologie, um die semantischen Erkennungsfähigkeiten von CLIP und die Positionierungsfähigkeiten des vorab trainierten ROI zu nutzen, um die Bilder im Trainingsdatensatz mit weniger Personalaufwand neu zu kennzeichnen. Mit dieser Technologie kann das Modell währenddessen trainiert werden Training Ordnen Sie mehr Tag-Boxen zu.
Verglichen mit RegionCLIP hat CORA den COCO-Datensatz AP50 weiter verbessert Wert von 2,4.
Zusammenfassung und Ausblick
Die OVD-Technologie ist nicht nur eng mit der Entwicklung der derzeit beliebten Cross-/Multimodal-Großmodelle verbunden, sondern auch unternimmt In der Vergangenheit haben wissenschaftliche Forscher Technologien im Bereich der Zielerkennung angehäuft, die eine erfolgreiche Verbindung zwischen traditioneller KI-Technologie und der Erforschung allgemeiner KI-Fähigkeiten darstellen. OVD ist eine neue Zielerkennungstechnologie mit Zukunft. Es ist zu erwarten, dass die Fähigkeit von OVD, jedes Ziel zu erkennen und zu lokalisieren, wiederum die Weiterentwicklung multimodaler Großmodelle vorantreiben wird und voraussichtlich zu einem wichtigen Eckpfeiler der multimodalen AGI werden wird in der Entwicklung. Derzeit ist die Trainingsdatenquelle großer multimodaler Modelle eine große Anzahl grober Informationspaare im Internet, also Text-Bild-Paare oder Text-Sprach-Paare. Wenn die OVD-Technologie verwendet wird, um die ursprünglichen groben Bildinformationen genau zu lokalisieren und bei der Vorhersage der semantischen Informationen des Bildes zur Filterung des Korpus zu helfen, wird die Qualität der vorab trainierten Daten des großen Modells weiter verbessert, wodurch die Darstellungs- und Verständnisfähigkeiten optimiert werden des großen Modells.
Ein gutes Beispiel ist SAM (Segment Anything)[7]. SAM ermöglicht es wissenschaftlichen Forschern nicht nur, die zukünftige Richtung allgemeiner visueller Großmodelle zu erkennen, sondern löst auch A aus viel nachdenken. Es ist erwähnenswert, dass die OVD-Technologie gut mit SAM verbunden werden kann, um das semantische Verständnis von SAM zu verbessern und automatisch die von SAM benötigten Boxinformationen zu generieren, wodurch Arbeitskräfte weiter freigesetzt werden. In ähnlicher Weise kann die OVD-Technologie auch für AIGC (durch künstliche Intelligenz generierte Inhalte) die Fähigkeit verbessern, mit Benutzern zu interagieren. Wenn der Benutzer beispielsweise ein bestimmtes Ziel in einem Bild angeben muss, um es zu ändern, oder eine Beschreibung des Ziels erstellen muss, kann er dies tun Nutzen Sie das Sprachverständnis von OVD und die Fähigkeit von OVD, unbekannte Ziele zu erkennen, um die vom Benutzer beschriebenen Objekte genau zu lokalisieren und so eine qualitativ hochwertigere Inhaltsgenerierung zu erreichen. Die relevante Forschung im Bereich OVD boomt derzeit und die Veränderungen, die die OVD-Technologie für künftige allgemeine KI-Großmodelle mit sich bringen kann, sind es wert, gespannt zu sein.
Das obige ist der detaillierte Inhalt vonOhne die Notwendigkeit, riesige Datenmengen zu kennzeichnen, bringt das neue Paradigma der Zielerkennung OVD die multimodale AGI einen Schritt weiter. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Einführung Das Verständnis der Namespaces, Scopes und des Verhaltens von Variablen in Python -Funktionen ist entscheidend, um effizient zu schreiben und Laufzeitfehler oder Ausnahmen zu vermeiden. In diesem Artikel werden wir uns mit verschiedenen ASP befassen

Einführung Stellen Sie sich vor, Sie gehen durch eine Kunstgalerie, umgeben von lebhaften Gemälden und Skulpturen. Was wäre, wenn Sie jedem Stück eine Frage stellen und eine sinnvolle Antwort erhalten könnten? Sie könnten fragen: „Welche Geschichte erzählst du?

In diesem Monat hat MediaTek in diesem Monat eine Reihe von Ankündigungen gemacht, darunter das neue Kompanio Ultra und die Abmessung 9400. Diese Produkte füllen die traditionelleren Teile von MediaTeks Geschäft aus, die Chips für Smartphone enthalten

#1 Google gestartet Agent2Agent Die Geschichte: Es ist Montagmorgen. Als mit KI betriebener Personalvermittler arbeiten Sie intelligenter, nicht härter. Sie melden sich im Dashboard Ihres Unternehmens auf Ihrem Telefon an. Es sagt Ihnen, dass drei kritische Rollen bezogen, überprüft und geplant wurden

Ich würde vermuten, dass du es sein musst. Wir alle scheinen zu wissen, dass Psychobabble aus verschiedenen Geschwätzern besteht, die verschiedene psychologische Terminologie mischen und oft entweder unverständlich oder völlig unsinnig sind. Alles was Sie tun müssen, um fo zu spucken

Laut einer neuen Studie, die diese Woche veröffentlicht wurde, wurden im Jahr 2022 nur 9,5% der im Jahr 2022 hergestellten Kunststoffe aus recycelten Materialien hergestellt. In der Zwischenzeit häufen sich Plastik weiter in Deponien - und Ökosystemen - um die Welt. Aber Hilfe ist unterwegs. Ein Team von Engin

Mein jüngstes Gespräch mit Andy Macmillan, CEO der führenden Unternehmensanalyse -Plattform Alteryx, zeigte diese kritische, aber unterschätzte Rolle in der KI -Revolution. Wie Macmillan erklärt, die Lücke zwischen Rohgeschäftsdaten und KI-fertigen Informat

In dieser Episode von Leading with Data tauchen wir mit Rohan Rao, einem Vierfach -Großmeister und Experten für maschinelles Lösungslösungen, in die faszinierende Welt der Datenwissenschaft ein. Rohan gibt Einblicke in strategische Partnerschaften, th


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

SublimeText3 Linux neue Version
SublimeText3 Linux neueste Version

DVWA
Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

ZendStudio 13.5.1 Mac
Leistungsstarke integrierte PHP-Entwicklungsumgebung

SecLists
SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen