L'Université de Beihang brise les barrières modales et introduit une méthode universelle de contre-attaque physique dans les modes visible et infrarouge.

Ces dernières années, l'exploration de l'évaluation de la sécurité des systèmes de perception visuelle s'est progressivement approfondie. Les chercheurs ont mis en œuvre avec succès une technologie d'évaluation de la sécurité en mode lumière visible basée sur différents supports tels que des lunettes, des autocollants, des vêtements, etc., et il y a également quelques nouvelles tentatives. ciblant les modes infrarouges. Mais ils ne peuvent fonctionner que dans un seul mode.

Avec le développement de la technologie de l'intelligence artificielle, la technologie d'imagerie infrarouge thermique à lumière visible a été utilisée dans de nombreuses tâches critiques pour la sécurité telles que la surveillance de la sécurité et la conduite autonome. Parmi elles, l'imagerie par lumière visible peut fournir des informations riches sur les textures pendant la conduite. le jour, tandis que l'imagerie infrarouge peut afficher clairement la répartition du rayonnement thermique de la cible la nuit. La combinaison des deux apporte de nombreux avantages tels qu'une couverture complète de 24 heures et l'absence de limitations environnementales au système de perception visuelle. Par conséquent, il est également nécessaire d’étudier de toute urgence une méthode unifiée d’évaluation de la sécurité pour les systèmes de perception visuelle multimodaux.

Cependant, réaliser une évaluation multimodale est extrêmement difficile. Tout d’abord, il est difficile d’appliquer universellement des méthodes d’attaque sous différents mécanismes d’imagerie. Les méthodes précédentes ont été proposées sur la base des caractéristiques d’imagerie de modalités cibles spécifiques et sont difficiles à appliquer dans d’autres modalités. De plus, il est difficile d’équilibrer les performances furtives, les coûts de production et la flexibilité des applications. Il n'est pas facile d'être efficace à la fois dans la lumière visible et dans le mode infrarouge, plus difficile, et il est encore plus difficile de parvenir à une production et une utilisation pratiques et peu coûteuses.

Confrontés à de nombreux défis, des chercheurs de l'Institut d'intelligence artificielle Beihang ont exploré les attributs de forme communs entre les modes lumière visible et infrarouge et ont proposé de manière innovante un « patch de contre-mesure universel multimodal » pour obtenir une synchronisation lumière visible-infrarouge Invisible . Il sélectionne des matériaux faciles à obtenir, peu coûteux et dotés d'excellentes propriétés d'isolation thermique pour créer des patchs pratiques, prêts à l'emploi. Il comble non seulement les lacunes de la technologie d'évaluation de la robustesse de la détection multimodale lumière visible-infrarouge. systèmes dans le monde physique actuel, mais prend également en compte la simplicité et l’immédiateté de la mise en œuvre physique. Les expériences démontrent l’efficacité de cette méthode sous différents modèles et modalités de détection, ainsi que sa généralisation dans de multiples scénarios. Actuellement, cet article a été accepté par l'ICCV 2023.

Lien de papier: https://arxiv.org/abs/2307.07859

code Lien: https://github.com/aries-iai/cross-modal_patch_attack

technical Points

Cette recherche utilise l'algorithme évolutif comme cadre de base, basé sur les trois perspectives de modélisation de forme, d'optimisation de forme et d'équilibre modal pour réaliser la conception du schéma et l'amélioration des effets. Le processus spécifique est tel qu'illustré dans la figure :

.

1. Modélisation de forme multi-ancres basée sur l'interpolation spline

Pour la partie de modélisation de forme de base, les chercheurs ont conçu un nouveau paradigme de modélisation d'optimisation de points, qui peut directement ajuster la forme du patch en modifiant les coordonnées du point. Dans ce processus, le mouvement du point d'ancrage ne sera pas limité par la direction, la distance, etc., augmentant ainsi l'espace de recherche des formes de patch. Sur cette base, afin de garantir le naturel de la forme, il utilise également la méthode d'interpolation spline pour obtenir des connexions fluides, et les splines suivront de plus près les points de contrôle.

2. Algorithme d'optimisation de forme limité par les limites basé sur l'évolution différentielle

La mise en œuvre d'attaques nécessite des méthodes d'optimisation efficaces Pour cette raison, les chercheurs considèrent les algorithmes évolutifs comme le cadre de base du point de vue du coût du temps et des effets pratiques. , etc. Et des améliorations sont apportées sous les deux angles de la définition des limites et de la fonction de remise en forme :

(1) Définition des limites : la définition des limites pour les points d'ancrage améliore l'efficacité de la déformation et réduit les coûts de temps. Il possède les paramètres suivants : les boucles ou les auto-intersections ne seront pas formées dans le segment de courbe ; les cuspides n'apparaîtront pas facilement dans le segment de courbe et elles n'apparaîtront pas dans les zones non valides ;

En prenant le point d'ancrage comme exemple, la partie bleue dans l'image ci-dessous est la légende de définition des limites, et la partie orange est l'exemple d'erreur :

À propos de la détermination des limites du point d'ancrage L'expression mathématique est la suivante :

(2) Fonction Fitness : Contrairement aux travaux précédents qui ne ciblent qu'un seul mode pour l'évaluation de l'attaque, ce travail se concentre sur les deux modes de lumière visible et infrarouge, et il existe naturellement des différences dans les effets du problème des modes équilibrés. Par conséquent, afin d'éviter d'aller à l'extrême en optimisant facilement un seul mode, les chercheurs ont proposé de manière innovante une fonction de fitness intermodale basée sur la perception du score de confiance du détecteur, encourageant l'exploration de directions réussies tout en équilibrant la différence entre les effets des deux. modes, et enfin la survie du plus fort en fonction des scores. Compte tenu de la différence de difficulté d'attaque entre l'étape initiale et l'étape ultérieure, il utilise une fonction exponentielle au lieu d'une fonction linéaire pour mettre en évidence la différence de progression de l'attaque aux différentes étapes. L'algorithme itère le processus d'exploration jusqu'à ce que les deux modes attaquent avec succès et génèrent la stratégie de forme optimale.Le processus d'optimisation complet est le suivant :

Résultats expérimentaux

Expérience 1 : Vérification des performances d'attaque multimodale pour différentes séries de détecteurs

Expérience 2 : Expérience d'ablation pour la forme

Expérience 3 : Expérience d'ablation pour la fonction de fitness intermodale

Expérience 4 : Robustesse de la méthode vérification sous écart physique de mise en œuvre

Expérience 5 : Vérification de l'efficacité de la méthode dans différentes conditions physiques

Résultats visualisés de la vérification des performances sous différents angles, distances, postures et scénarios

Résumé

Une méthode d'évaluation de la robustesse multimodale visible-infrarouge dans des environnements physiques est conçue. Ce procédé peut évaluer la robustesse d'un système de détection de cible multimodal (lumière visible-infrarouge), corriger efficacement le modèle de détecteur sur la base des résultats de l'évaluation, et améliorer simultanément la précision de la détection d'image cible dans les modes lumière visible et infrarouge. physique Il peut être véritablement mis en œuvre et appliqué dans l'environnement, et contribuer à l'évaluation de la robustesse et à l'amélioration des systèmes de détection multimodaux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!