


Die Zielerkennung ist eine sehr wichtige Grundaufgabe in der Computer-Vision. Bei der Zielerkennung muss das Modell zusätzlich zur gegebenen Zielkategorie auch die Positions- und Größeninformationen angeben Aufgrund der Hauptaufgaben des Lebenslaufs (Identifizierung, Erkennung und Segmentierung) kommt ihm eine Schlüsselposition als Bindeglied zwischen der Vergangenheit und der Zukunft zu.
Der derzeit beliebte multimodale GPT-4 verfügt nur über die Fähigkeit zur Zielerkennung in Bezug auf die visuellen Fähigkeiten und ist nicht in der Lage, schwierigere Zielerkennungsaufgaben zu lösen. Das Erkennen der Kategorie-, Standort- und Größeninformationen von Objekten in Bildern oder Videos ist der Schlüssel zu vielen Anwendungen der künstlichen Intelligenz in der realen Produktion, wie z. B. der Fußgänger- und Fahrzeugerkennung beim autonomen Fahren, der Gesichtserkennung bei Sicherheitsüberwachungsanwendungen und der medizinischen Bildanalyse von Tumoren , usw.
Bestehende Zielerkennungsmethoden wie die YOLO-Serie, die R-CNN-Serie und andere Zielerkennungsalgorithmen haben aufgrund der kontinuierlichen Bemühungen wissenschaftlicher Forscher jedoch eine hohe Zielerkennungsgenauigkeit und -effizienz erreicht Modelltraining Definieren Sie einfach den Satz (geschlossener Satz) der zu erkennenden Ziele, sodass sie keine Ziele außerhalb des Trainingssatzes erkennen können. Darüber hinaus können vorhandene Methoden nicht zum Erkennen von Fahrzeugen verwendet werden Wenn bei gekennzeichneten Daten die zu erkennenden Zielkategorien hinzugefügt oder geändert werden müssen, müssen einerseits die Trainingsdaten neu gekennzeichnet werden und andererseits muss das Modell neu gekennzeichnet werden -geschult, was zeit- und arbeitsintensiv ist.
Eine mögliche Lösung besteht darin, umfangreiche Bilder zu sammeln und Box-Informationen und semantische Informationen manuell zu kennzeichnen. Dies erfordert jedoch extrem hohe Kennzeichnungskosten, und die Verwendung umfangreicher Daten zum Trainieren des Erkennungsmodells stellt auch wissenschaftliche Forscher vor Herausforderungen Die Long-Tail-Verteilung der Daten und die instabile Qualität der manuellen Annotation wirken sich auf die Leistung des Erkennungsmodells aus.
Der in CVPR 2021 veröffentlichte Artikel OVR-CNN [1] schlägt ein neues Zielerkennungsparadigma vor: Open-Vocabulary Detection (OVD, auch bekannt als Open-World-Zielerkennung) zur Bewältigung des oben genannten Problems ist das Erkennungsszenario von unbekannte Objekte in der offenen Welt.
OVD hat seit seiner Einführung kontinuierliche Aufmerksamkeit in Wissenschaft und Industrie auf sich gezogen, da es in der Lage ist, eine beliebige Anzahl und Kategorie von Zielen zu identifizieren und zu lokalisieren, ohne die Menge der annotierten Daten manuell zu erweitern, und hat auch großen Erfolg bei der klassischen Zielerkennung gebracht Es bringt neue Vitalität und neue Herausforderungen mit sich und wird voraussichtlich zu einem neuen Paradigma für die Zielerkennung werden.
Insbesondere erfordert die OVD-Technologie keine manuelle Annotation von Massenbildern, um die Erkennungsfähigkeit des Erkennungsmodells für unbekannte Kategorien zu verbessern. Stattdessen wird ein klassenunabhängiger Bereichsdetektor mit einer guten Verallgemeinerung kombiniert Das auf unbeschrifteten Daten trainierte Modell wird kombiniert, um die Fähigkeit des Zielerkennungsmodells zu erweitern, Open-World-Ziele durch modalübergreifende Ausrichtung von Bildbereichsmerkmalen und beschreibendem Text des zu erkennenden Ziels zu verstehen.
Die kreuz- und multimodale Arbeit an großen Modellen wie CLIP [2], ALIGN [3] und R2D2 [4] usw. hat sich in letzter Zeit sehr schnell entwickelt, und ihre Entwicklung hat auch die Entstehung von OVD gefördert und das Gebiet der OVD. Schnelle Iteration und Weiterentwicklung verwandter Arbeiten.
Die OVD-Technologie beinhaltet die Lösung von zwei Schlüsselproblemen: 1) Wie kann die Anpassung zwischen Regionsinformationen und modalübergreifenden großen Modellen verbessert werden? 2) Wie kann die Verallgemeinerungsfähigkeit von kategorienübergreifenden Zieldetektoren verbessert werden? Aus diesen beiden Perspektiven werden im Folgenden einige verwandte Arbeiten im Bereich OVD ausführlich vorgestellt.
OVD-Grundprozessdiagramm [1]
Grundlegende Konzepte von OVD: Die Verwendung von OVD umfasst hauptsächlich zwei Hauptszenarien: wenige Schüsse und Null-Schüsse, wenige Schüsse Es bezieht sich auf die Zielkategorie mit einer kleinen Anzahl manuell beschrifteter Trainingsbeispiele, während sich Zero-Shot auf die Zielkategorie ohne manuell beschriftete Trainingsbeispiele bezieht. In den häufig verwendeten akademischen Bewertungsdatensätzen COCO und LVIS ist der Datensatz in Basisklasse und Romanklasse unterteilt, wobei die Basisklasse dem Wenig-Schuss-Szenario und die Roman-Klasse dem Null-Schuss-Szenario entspricht. Beispielsweise enthält der COCO-Datensatz 65 Kategorien, und eine übliche Bewertungseinstellung besteht darin, dass der Basissatz 48 Kategorien enthält und nur diese 48 Kategorien im Training mit wenigen Schüssen verwendet werden. Das Novel-Set enthält 17 Kategorien, die während des Trainings völlig unsichtbar sind. Die Testindikatoren beziehen sich zum Vergleich hauptsächlich auf den AP50-Wert der Novel-Klasse.
Nr.Papieradresse: https://arxiv.org/pdf/2011.10678.pdf
#🎜 🎜#
- OVR-CNN ist der mündliche Vortrag des CVPR 2021 und eine Pionierarbeit im OVD-Bereich. Sein zweistufiges Trainingsparadigma hat viele nachfolgende OVD-Arbeiten beeinflusst. Wie in der folgenden Abbildung dargestellt, verwendet die erste Stufe hauptsächlich Bildunterschriftenpaare, um den visuellen Encoder vorab zu trainieren. Dabei wird BERT (feste Parameter) zum Generieren von Wortmasken verwendet und ein schwach überwachter Grounding-Matching wird mit ResNet50 durchgeführt, das mit ImageNet geladen ist Aufgrund der vorab trainierten Gewichte geht der Autor davon aus, dass eine schwache Überwachung dazu führen wird, dass die Übereinstimmung in die lokale Optimalität fällt. Daher wird ein multimodaler Transformator zur Wortmaskenvorhersage hinzugefügt, um die Robustheit zu erhöhen.
Papier 2: RegionCLIP: Regionsbasierte Sprache- Bild Pretraining
#🎜🎜 # Papieradresse: https ://arxiv.org/abs/2112.09106
Codeadresse: https://github.com/microsoft /RegionCLIP#🎜 ??? Im Rahmen der modalen Großmodellforschung haben wissenschaftliche Forscher damit begonnen, leistungsfähigere modalübergreifende Großmodelle wie CLIP und ALIGN zum Trainieren von OVD-Aufgaben zu verwenden. Das Detektormodell selbst zielt hauptsächlich auf die Klassifizierung und Identifizierung von Vorschlägen ab. RegionCLIP [5] hat im CVPR 2022 herausgefunden, dass die Klassifizierungsfähigkeit derzeit vorhandener großer Modelle wie CLIP für beschnittene Gebiete viel geringer ist Um die Klassifizierung des Originalbildes selbst zu verbessern, schlägt RegionCLIP ein neues zweistufiges OVD-Schema vor.
- In der ersten Phase verwendet der Datensatz hauptsächlich CC3M, COCO- Bildunterschrift usw. Der Bild-Text-Matching-Datensatz ist für die Destillation auf Regionsebene vorab trainiert. Konkret:
-
1. Extrahieren Sie die Wörter, die ursprünglich im Langtext vorhanden waren, um einen Konzeptpool zu bilden, und bilden Sie anschließend eine Reihe einfacher Beschreibungen über die Region für das Training.
2. Verwenden Sie RPN basierend auf dem LVIS-Vortraining, um Vorschlagsregionen zu extrahieren, und verwenden Sie Original-CLIP, um die extrahierten verschiedenen Regionen mit den vorbereiteten Beschreibungen abzugleichen und zu klassifizieren und sie weiter zu gefälschten semantischen Etiketten zusammenzusetzen.
3. Führen Sie ein Region-Text-Vergleichslernen mit dem neuen CLIP-Modell mit den vorbereiteten Vorschlagsregionen und semantischen Bezeichnungen durch und erhalten Sie dann ein CLIP-Modell, das auf Regionsinformationen spezialisiert ist.
4. Im Vorfeld des Trainings lernt das neue CLIP-Modell auch die Klassifizierungsfähigkeit des ursprünglichen CLIP durch die Destillationsstrategie und führt ein Bild-Text-Vergleichslernen auf der Vollbildebene durch, um den Ausdruck des neuen CLIP-Modells beizubehalten die vollständige Bildfähigkeit.
In der zweiten Stufe wird das erhaltene vorab trainierte Modell zum Transferlernen auf das Erkennungsmodell übertragen.
RegionCLIP erweitert die Darstellungsmöglichkeiten vorhandener modalübergreifender großer Modelle gegenüber herkömmlichen Erkennungsmodellen und erzielt eine bessere Leistung. Wie in der Abbildung unten gezeigt, ist RegionCLIP bei Verbesserungen in der Kategorie „Novel“ besser als OVR-CNN wurden gemacht. RegionCLIP verbessert effektiv die Anpassungsfähigkeit zwischen Regionsinformationen und multimodalen großen Modellen durch einstufiges Vortraining. CORA geht jedoch davon aus, dass die Trainingskosten steigen, wenn ein größeres modalübergreifendes großes Modell mit einer größeren Parameterskala für einstufiges Training verwendet wird sehr hoch sein. ?? Papieradresse: https://arxiv .org/abs/2303.13076
Codeadresse: https://github.com/tgxs002/CORACORA [6] wurde in CVPR 2023 aufgenommen, um die aktuelle OVD zu überwinden Von ihm vorgeschlagen Um die beiden Hindernisse zu überwinden, mit denen diese Aufgabe konfrontiert ist, wurde ein DETR-ähnliches OVD-Modell entworfen. Wie im Titel des Artikels gezeigt, umfasst das Modell hauptsächlich zwei Strategien: Region Prompting und Anchor Pre-Matching. Ersteres nutzt die Prompt-Technologie, um die vom CLIP-basierten Regionalklassifikator extrahierten regionalen Merkmale zu optimieren und so die Verteilungslücke zwischen dem Ganzen und der Region zu verringern. Letzteres nutzt die Ankerpunkt-Pre-Matching-Strategie in der DETR-Erkennungsmethode, um die OVD zu verbessern Die Fähigkeit des Modells, neue Objekttypen zu positionieren.
- CLIP Es besteht eine Verteilungslücke zwischen den Gesamtbildmerkmalen und den regionalen Merkmalen des ursprünglichen visuellen Encoders, was wiederum zu einer geringeren Klassifizierungsgenauigkeit des Detektors führt (dies ähnelt dem Ausgangspunkt von RegionCLIP). ). Daher schlägt CORA Region Prompting vor, um sich an den CLIP-Bildcodierer anzupassen und die Klassifizierungsleistung regionaler Informationen zu verbessern. Konkret wird das gesamte Bild zunächst über die ersten drei Schichten des CLIP-Encoders in eine Feature-Map codiert. Anschließend werden durch RoI Align Ankerboxen oder Vorhersageboxen generiert und mit regionalen Features zusammengeführt. Dies wird dann von der vierten Schicht des CLIP-Bildkodierers kodiert. Um die Verteilungslücke zwischen der Vollbild-Feature-Map und den regionalen Features des CLIP-Bildencoders zu schließen, werden lernbare Regions-Prompts eingerichtet und mit den von der vierten Ebene ausgegebenen Features kombiniert, um die endgültigen regionalen Features zur Verwendung mit Text-Features zu generieren Für das Matching verwendet der Matching-Verlust einen naiven Kreuzentropieverlust, und alle mit CLIP verbundenen Parametermodelle werden während des Trainingsprozesses eingefroren.
CORA ist ein DETR-ähnliches Detektormodell, ähnlich wie DETR, das ebenfalls die Anker-Pre-Matching-Strategie verwendet, um im Voraus Kandidatenboxen für das Box-Regressionstraining zu generieren. Insbesondere ordnet der Anker-Vorabgleich jedes Label-Feld dem nächstgelegenen Satz von Anker-Feldern zu, um zu bestimmen, welche Anker-Felder als positive Proben und welche als negative Proben betrachtet werden sollten. Dieser Matching-Prozess basiert normalerweise auf der IoU (Intersection-over-Union-Ratio). Wenn die IoU zwischen der Ankerbox und der Labelbox einen vordefinierten Schwellenwert überschreitet, wird sie als positive Stichprobe betrachtet, andernfalls wird sie als negative Stichprobe betrachtet. CORA zeigt, dass diese Strategie die Verallgemeinerung von Lokalisierungsfähigkeiten auf neue Kategorien effektiv verbessern kann.
Die Verwendung des Anker-Pre-Matching-Mechanismus bringt jedoch auch einige Probleme mit sich. Beispielsweise kann er nur dann normal funktionieren, wenn mindestens ein Ankerfeld mit dem Etikettenfeld übereinstimmt. Zug. Andernfalls wird das Beschriftungsfeld ignoriert, wodurch eine Modellkonvergenz verhindert wird. Selbst wenn das Beschriftungsfeld ein genaueres Ankerpunktfeld erhält, wird das Beschriftungsfeld aufgrund der begrenzten Erkennungsgenauigkeit des Regionsklassifikators möglicherweise immer noch ignoriert, dh die dem Beschriftungsfeld entsprechenden Kategorieinformationen stimmen nicht mit dem überein Regionsklassifikator basierend auf CLIP-Training. Daher nutzt CORA die CLIP-Aligned-Technologie, um die semantischen Erkennungsfähigkeiten von CLIP und die Positionierungsfähigkeiten des vorab trainierten ROI zu nutzen, um die Bilder im Trainingsdatensatz mit weniger Personalaufwand neu zu kennzeichnen. Mit dieser Technologie kann das Modell währenddessen trainiert werden Training Ordnen Sie mehr Tag-Boxen zu.
Verglichen mit RegionCLIP hat CORA den COCO-Datensatz AP50 weiter verbessert Wert von 2,4.
Zusammenfassung und Ausblick
Die OVD-Technologie ist nicht nur eng mit der Entwicklung der derzeit beliebten Cross-/Multimodal-Großmodelle verbunden, sondern auch unternimmt In der Vergangenheit haben wissenschaftliche Forscher Technologien im Bereich der Zielerkennung angehäuft, die eine erfolgreiche Verbindung zwischen traditioneller KI-Technologie und der Erforschung allgemeiner KI-Fähigkeiten darstellen. OVD ist eine neue Zielerkennungstechnologie mit Zukunft. Es ist zu erwarten, dass die Fähigkeit von OVD, jedes Ziel zu erkennen und zu lokalisieren, wiederum die Weiterentwicklung multimodaler Großmodelle vorantreiben wird und voraussichtlich zu einem wichtigen Eckpfeiler der multimodalen AGI werden wird in der Entwicklung. Derzeit ist die Trainingsdatenquelle großer multimodaler Modelle eine große Anzahl grober Informationspaare im Internet, also Text-Bild-Paare oder Text-Sprach-Paare. Wenn die OVD-Technologie verwendet wird, um die ursprünglichen groben Bildinformationen genau zu lokalisieren und bei der Vorhersage der semantischen Informationen des Bildes zur Filterung des Korpus zu helfen, wird die Qualität der vorab trainierten Daten des großen Modells weiter verbessert, wodurch die Darstellungs- und Verständnisfähigkeiten optimiert werden des großen Modells.
Ein gutes Beispiel ist SAM (Segment Anything)[7]. SAM ermöglicht es wissenschaftlichen Forschern nicht nur, die zukünftige Richtung allgemeiner visueller Großmodelle zu erkennen, sondern löst auch A aus viel nachdenken. Es ist erwähnenswert, dass die OVD-Technologie gut mit SAM verbunden werden kann, um das semantische Verständnis von SAM zu verbessern und automatisch die von SAM benötigten Boxinformationen zu generieren, wodurch Arbeitskräfte weiter freigesetzt werden. In ähnlicher Weise kann die OVD-Technologie auch für AIGC (durch künstliche Intelligenz generierte Inhalte) die Fähigkeit verbessern, mit Benutzern zu interagieren. Wenn der Benutzer beispielsweise ein bestimmtes Ziel in einem Bild angeben muss, um es zu ändern, oder eine Beschreibung des Ziels erstellen muss, kann er dies tun Nutzen Sie das Sprachverständnis von OVD und die Fähigkeit von OVD, unbekannte Ziele zu erkennen, um die vom Benutzer beschriebenen Objekte genau zu lokalisieren und so eine qualitativ hochwertigere Inhaltsgenerierung zu erreichen. Die relevante Forschung im Bereich OVD boomt derzeit und die Veränderungen, die die OVD-Technologie für künftige allgemeine KI-Großmodelle mit sich bringen kann, sind es wert, gespannt zu sein.
Das obige ist der detaillierte Inhalt vonOhne die Notwendigkeit, riesige Datenmengen zu kennzeichnen, bringt das neue Paradigma der Zielerkennung OVD die multimodale AGI einen Schritt weiter. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

在日常开发中,对数据进行序列化和反序列化是常见的数据操作,Python提供了两个模块方便开发者实现数据的序列化操作,即 json 模块和 pickle 模块。这两个模块主要区别如下:json 是一个文本序列化格式,而 pickle 是一个二进制序列化格式;json 是我们可以直观阅读的,而 pickle 不可以;json 是可互操作的,在 Python 系统之外广泛使用,而 pickle 则是 Python 专用的;默认情况下,json 只能表示 Python 内置类型的子集,不能表示自定义的


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Sicherer Prüfungsbrowser
Safe Exam Browser ist eine sichere Browserumgebung für die sichere Teilnahme an Online-Prüfungen. Diese Software verwandelt jeden Computer in einen sicheren Arbeitsplatz. Es kontrolliert den Zugriff auf alle Dienstprogramme und verhindert, dass Schüler nicht autorisierte Ressourcen nutzen.

DVWA
Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

SublimeText3 Englische Version
Empfohlen: Win-Version, unterstützt Code-Eingabeaufforderungen!

EditPlus chinesische Crack-Version
Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion

SublimeText3 Linux neue Version
SublimeText3 Linux neueste Version
