Die Universität Beihang überwindet modale Barrieren und führt eine universelle physische Kampfmethode im sichtbaren und infraroten Modus ein.

In den letzten Jahren hat sich die Forschung zur Sicherheitsbewertung visueller Wahrnehmungssysteme schrittweise vertieft und erfolgreich eine Technologie zur Sicherheitsbewertung im sichtbaren Lichtmodus entwickelt, die auf verschiedenen Trägern wie Brillen, Aufklebern, Kleidung usw. basiert, und es gibt auch einige Infrarot Modus-Sicherheitsbewertungstechnologien neuer Versuch. Diese Technologien können jedoch nur auf eine einzige Modalität angewendet werden

Mit der Entwicklung der Technologie der künstlichen Intelligenz wurde die sichtbar-thermische Infrarot-Bildgebungstechnologie in großem Umfang bei der Sicherheitsüberwachung, beim autonomen Fahren und anderen sicherheitskritischen Aufgaben eingesetzt. Die Bildgebung mit sichtbarem Licht kann tagsüber umfangreiche Texturinformationen liefern, während die Infrarotbildgebung nachts die Wärmestrahlungsverteilung des Ziels klar darstellen kann. Wenn beides zusammen verwendet wird, kann das visuelle Wahrnehmungssystem eine vollständige Abdeckung rund um die Uhr erreichen und unterliegt keinen Umgebungseinschränkungen, was viele Vorteile hat. Daher muss eine einheitliche Sicherheitsbewertungsmethode für multimodale visuelle Wahrnehmungssysteme untersucht werden. Die Erzielung einer multimodalen Bewertung ist jedoch äußerst schwierig. Erstens ist es schwierig, universelle Angriffsmethoden unter verschiedenen Bildgebungsmechanismen anzuwenden. Frühere Methoden wurden auf der Grundlage der Bildgebungseigenschaften spezifischer Zielmodalitäten vorgeschlagen und sind in anderen Modalitäten nur schwer anwendbar. Darüber hinaus ist es schwierig, Stealth-Leistung, Produktionskosten und flexible Anwendung in Einklang zu bringen. Es ist nicht einfach, sowohl im sichtbaren Licht als auch im schwierigeren Infrarotmodus wirksam zu sein, und noch schwieriger ist es, eine kostengünstige und bequeme Herstellung und Verwendung zu erreichen.

Angesichts vieler Herausforderungen untersuchten Forscher des Beihang Artificial Intelligence Research Institute die gemeinsamen Formattribute zwischen sichtbarem Licht und Infrarot-Modalitäten und schlugen innovativ

einen „kreuzmodalen universellen Gegenmaßnahmen-Patch“ vor, um eine synchrone Tarnung zwischen sichtbarem Licht und Infrarot zu erreichen.

Es werden Materialien ausgewählt, die leicht zu beschaffen und kostengünstig sind und über hervorragende Wärmedämmeigenschaften verfügen, um praktische, gebrauchsfertige Pflaster herzustellen. Es schließt nicht nur die Lücken in der Robustheitsbewertungstechnologie der multimodalen Erkennung von sichtbarem Licht und Infrarot Systeme in der aktuellen physischen Welt, berücksichtigt aber auch die Einfachheit und Unmittelbarkeit. Experimente belegen die Wirksamkeit dieser Methode unter verschiedenen Erkennungsmodellen und -modalitäten sowie ihre Verallgemeinerung in mehreren Szenarien. Derzeit wurde dieses Papier von ICCV 2023 angenommen.

Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/abs/2307.07859

Code-Link: https://github.com/Aries-iai/ Cross-modal_Patch_Attack

Technische Punkte

Diese Forschung verwendet evolutionäre Algorithmen als Grundgerüst, um Lösungsdesign und Effektverbesserung aus drei Perspektiven durchzuführen: Formmodellierung, Formoptimierung und Modalbalance. Der spezifische Prozess ist in der folgenden Abbildung dargestellt:

1. Multi-Anker-Formmodellierung basierend auf Spline-Interpolation

Für den grundlegenden Formmodellierungsteil haben die Forscher einen Punkt A entworfen neues Paradigma in der Optimierungsmodellierung. Durch Ändern der Koordinaten der Punkte kann die Form des Patches direkt angepasst werden, ohne dass Einschränkungen wie Richtung, Entfernung usw. Auswirkungen haben. Dadurch wird der Suchraum für Patchformen effektiv vergrößert. Um die Natürlichkeit der Form sicherzustellen, verwendeten die Forscher auch die Spline-Interpolationsmethode, um glatte Verbindungen zu erzielen, sodass die Splines den Kontrollpunkten besser folgen können

2 Der Algorithmus zur grenzbegrenzten Formoptimierung basiert auf Das Prinzip der differenziellen Evolution

Um Streiks zu erzielen, sind effektive Optimierungsmethoden erforderlich. Aus diesem Grund berücksichtigen Forscher den Zeitaufwand, die tatsächlichen Auswirkungen usw., verwenden evolutionäre Algorithmen als Grundgerüst und verbessern aus den beiden Perspektiven der Grenzsetzung und Fitnessfunktion: Bedarf Der umgeschriebene Inhalt lautet: (1) Grenzeinstellung: Durch Festlegen der Grenze des Ankerpunkts kann die Wirksamkeit der Verformung verbessert und der Zeitaufwand reduziert werden. Die spezifischen Einstellungen sind wie folgt: Im Kurvensegment werden keine Schleifen oder Selbstüberschneidungen gebildet; Scheitelpunkte werden nicht leicht im Kurvensegment angezeigt;

Nehmen Sie den Ankerpunkt als Beispiel. Der blaue Teil in der Abbildung unten ist die Legende zur Grenzeinstellung und der orange Teil ist das Fehlerbeispiel:

Über die Grenzbestimmung des Ankerpunkts Der mathematische Ausdruck lautet wie folgt:

(2) Fitnessfunktion: Diese Studie unterscheidet sich von früheren Arbeiten, die nur eine Trefferbewertung für einen einzelnen Modus durchführten, sich aber auf die beiden Modi des sichtbaren Lichts konzentrierten und Infrarot, und erkannte, dass es zwischen den beiden Modi einen natürlichen Unterschied in der Ausgleichswirkung gibt. Um eine Überoptimierung einer einzelnen Modalität zu vermeiden und gleichzeitig die andere zu vernachlässigen, schlugen die Forscher eine innovative modalübergreifende Fitnessfunktion vor, die auf der Wahrnehmung des Konfidenzwerts des Detektors basiert und darauf abzielt, die Erkundung erfolgreicher Richtungen zu fördern und die beiden Effektunterschiede zwischen den Modalitäten auszugleichen. Letztendlich wird das Überleben des Stärkeren auf den Ergebnissen basieren. Um den Unterschied in der Schlagschwierigkeit zwischen der Anfangsphase und der späteren Phase zu berücksichtigen, verwendet diese Funktion eine Exponentialfunktion anstelle einer linearen Funktion, um den Unterschied im Schlagfortschritt in verschiedenen Phasen hervorzuheben.

Der Algorithmus iteriert den Erkundungsprozess, bis beide Modi erfolgreich getroffen werden. Die optimale Formrichtlinie wird ausgegeben. Der vollständige Optimierungsprozess läuft wie folgt ab:

Experimentelle Ergebnisse

Experiment 1: Überprüfung der modalübergreifenden Trefferleistung für verschiedene Detektorserien

Experiment 2: Ablationsexperiment für Formen Experiment 3: Ablationsexperiment für modalübergreifende Fitnessfunktion der Methodenwirksamkeit unter unterschiedliche körperliche Voraussetzungen

Führen Sie eine Leistungsüberprüfung unter verschiedenen Winkeln, Distanzen, Körperhaltungen und Szenarien durch und präsentieren Sie die Ergebnisse visuell

Zusammenfassung

Der Kern dieser Forschung ist die Optimierung natürlicher Formen. In Kombination mit Verformungsflächen und modalübergreifenden Schlägen wird eine multimodale Robustheitsbewertungsmethode im sichtbaren Infrarotbereich in einer physischen Umgebung entwickelt. Mit dieser Methode kann die Robustheit eines multimodalen (sichtbar-infraroten) Zielerkennungssystems bewertet und das Detektormodell basierend auf den Bewertungsergebnissen effektiv korrigiert werden, während gleichzeitig die Genauigkeit der Zielbilderkennung sowohl im sichtbaren als auch im Infrarotmodus verbessert wird. Die Methode wird in einer physischen Umgebung implementiert und angewendet und trägt zur Robustheitsbewertung und Verbesserung multimodaler Erkennungssysteme bei

Das obige ist der detaillierte Inhalt vonDie Universität Beihang überwindet modale Barrieren und führt eine universelle physische Kampfmethode im sichtbaren und infraroten Modus ein.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!