L'Université de Beihang brise les barrières modales et introduit une méthode universelle de combat physique dans les modes visible et infrarouge.

Ces dernières années, les recherches sur l'évaluation de la sécurité des systèmes de perception visuelle se sont progressivement approfondies. Les chercheurs ont réussi à développer une technologie d'évaluation de la sécurité en mode lumière visible basée sur différents supports tels que des lunettes, des autocollants, des vêtements, etc., et il existe également des infrarouges. technologies d'évaluation de la sécurité des modes, nouvelle tentative. Cependant, ces technologies ne peuvent être appliquées qu'à une seule modalité

Avec le développement de la technologie de l'intelligence artificielle, la technologie d'imagerie infrarouge thermique visible a été largement utilisée dans la surveillance de la sécurité, la conduite autonome et d'autres tâches critiques pour la sécurité. L'imagerie par lumière visible peut fournir de riches informations sur la texture pendant la journée, tandis que l'imagerie infrarouge peut afficher clairement la répartition du rayonnement thermique de la cible la nuit. En utilisant les deux ensemble, le système de perception visuelle peut atteindre une couverture complète de 24 heures et n'est pas soumis aux restrictions environnementales, ce qui présente de nombreux avantages. Par conséquent, une méthode unifiée d’évaluation de la sécurité pour les systèmes de perception visuelle multimodaux doit être étudiée. Cependant, réaliser une évaluation multimodale est extrêmement difficile. Premièrement, il est difficile d’appliquer des méthodes d’attaque universelles sous différents mécanismes d’imagerie. Les méthodes précédentes ont été proposées sur la base des caractéristiques d’imagerie de modalités cibles spécifiques et sont difficiles à appliquer dans d’autres modalités. De plus, il est difficile d’équilibrer les performances furtives, les coûts de production et la flexibilité des applications. Il n'est pas facile d'être efficace à la fois dans la lumière visible et dans le mode infrarouge, plus difficile, et il est encore plus difficile de parvenir à une production et une utilisation pratiques et peu coûteuses.

Confrontés à de nombreux défis, des chercheurs de l'Institut de recherche sur l'intelligence artificielle de Beihang ont exploré les attributs de forme communs entre la lumière visible et les modalités infrarouges et ont proposé de manière innovante

un « patch de contre-mesure universel multimodal » pour obtenir une furtivité synchrone lumière visible-infrarouge.

Il sélectionne des matériaux faciles à obtenir, peu coûteux et dotés d'excellentes propriétés d'isolation thermique pour fabriquer des patchs pratiques, prêts à l'emploi. Il comble non seulement les lacunes de la technologie d'évaluation de la robustesse de la détection multimodale lumière visible-infrarouge. systèmes dans le monde physique actuel, mais prend également en compte la simplicité et l’immédiateté de la mise en œuvre physique. Les expériences démontrent l’efficacité de cette méthode sous différents modèles et modalités de détection, ainsi que sa généralisation dans de multiples scénarios. Actuellement, cet article a été accepté par l'ICCV 2023.

Veuillez cliquer sur le lien suivant pour consulter l'article : https://arxiv.org/abs/2307.07859

Lien de code : https://github.com/Aries-iai/ Cross-modal_Patch_Attack

Points techniques

Cette recherche utilise un algorithme évolutif comme cadre de base pour mener la conception de solutions et l'amélioration des effets sous trois perspectives : la modélisation de forme, l'optimisation de forme et l'équilibre modal. Le processus spécifique est illustré dans la figure ci-dessous :

1. Modélisation de forme multi-ancres basée sur l'interpolation spline

Pour la partie de modélisation de forme de base, les chercheurs ont conçu un point A. nouveau paradigme dans la modélisation d'optimisation. En modifiant les coordonnées des points, la forme du patch peut être directement ajustée sans être affectée par des restrictions telles que la direction, la distance, etc. Cela augmente efficacement l'espace de recherche des formes de patch. Afin de garantir le caractère naturel de la forme, les chercheurs ont également utilisé la méthode d'interpolation spline pour obtenir des connexions fluides, permettant à la spline de suivre de plus près les points de contrôle

2. L'algorithme d'optimisation de forme limitée par les limites est basé sur. le principe de l'évolution différentielle

Réaliser des frappes nécessite des méthodes d'optimisation efficaces Pour cette raison, les chercheurs considèrent le coût du temps, les effets réels, etc., utilisent des algorithmes évolutifs comme cadre de base et s'améliorent des deux perspectives de définition des limites. et fonction fitness : Besoin Le contenu réécrit est : (1) Définition des limites : En définissant la limite du point d'ancrage, l'efficacité de la déformation peut être améliorée et le coût en temps peut être réduit. Les paramètres spécifiques sont les suivants : aucune boucle ou auto-intersection ne sera formée dans le segment de courbe ; les points de rebroussement n'apparaîtront pas facilement dans le segment de courbe et ils n'apparaîtront pas dans la zone invalide

 ;

Prenons le point d'ancrage comme exemple. La partie bleue dans la figure ci-dessous est la légende de définition des limites, et la partie orange est l'exemple d'erreur :

À propos de la détermination des limites du point d'ancrage . L'expression mathématique est la suivante :

(2) Fonction fitness : Cette étude est différente des travaux précédents qui n'avaient mené une évaluation de frappe que sur un seul mode, mais se sont concentrés sur les deux modes de lumière visible et infrarouge, et j'ai réalisé que les deux modes Il existe une différence naturelle dans les effets d'équilibrage entre eux. Pour éviter de sur-optimiser une seule modalité tout en négligeant l'autre, les chercheurs ont proposé une fonction de fitness intermodale innovante basée sur la perception du score de confiance du détecteur, qui vise à encourager l'exploration des directions réussies et à équilibrer les deux différences d'effet entre les modalités. En fin de compte, la survie du plus fort sera basée sur les scores. Afin de prendre en compte la différence de difficulté de frappe entre l'étape initiale et l'étape ultérieure, cette fonction utilise une fonction exponentielle au lieu d'une fonction linéaire pour mettre en évidence la différence de progression de la frappe dans les différentes étapes

L'algorithme itère le processus d'exploration jusqu'à ce que les deux modes soient atteints. Avec succès, la politique de forme optimale est générée. Le processus d'optimisation complet est le suivant :

Résultats expérimentaux

Expérience 1 : Vérification des performances de frappe multimodale pour différentes séries de détecteurs

Expérience 2 : Expérience d'ablation de formes

Experiment 3: Expérience d'ablation pour la fonction de fitness trans-modale

Expérience 4: Vérification de la robustesse de la méthode sous déviation physique conditions

Vérification des performances sous différents angles, distances, postures et scénarios, et les résultats sont présentés visuellement

Résumé

Le cœur de cette recherche est l'optimisation de la forme naturelle, et combinée à des patchs de déformation et des frappes multimodales, une méthode d'évaluation de la robustesse multimodale visible-infrarouge dans un environnement physique est conçue. Ce procédé peut évaluer la robustesse d'un système de détection de cible multimodal (visible-infrarouge) et corriger efficacement le modèle de détecteur sur la base des résultats de l'évaluation, tout en améliorant la précision de la détection d'image cible dans les modes visible et infrarouge. La méthode est implémentée et appliquée dans un environnement physique, contribuant à l'évaluation de la robustesse et à l'amélioration des systèmes de détection multimodaux

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!