De la confrontation individuelle à la confrontation multiple : le CVPR 2023 explore les attaques contradictoires multiples généralisables

Le système de reconnaissance faciale qui prétend être précis à 99 % est-il vraiment incassable ? En fait, le système de reconnaissance faciale peut être facilement brisé en apportant des modifications aux photos du visage qui n'affectent pas le jugement visuel. Par exemple, la fille d'à côté et la célébrité masculine peuvent être considérées comme étant la même personne. attaque. Le but des attaques contradictoires est de trouver des échantillons contradictoires qui sont naturels et peuvent confondre le réseau neuronal. Essentiellement, trouver des échantillons contradictoires consiste à trouver les vulnérabilités du réseau neuronal.

Récemment, une équipe de recherche de l'Université de technologie de Dongfang a proposé un paradigme d'attaque contradictoire multiple généralisée (GMAA),

promouvant le mode d'attaque "point" traditionnel en mode d'attaque "visage", ce qui améliore considérablement la capacité de généralisation du modèle d'attaque contradictoire et développe une nouvelle idée pour le travail des attaques contradictoires.

Cette recherche améliore les travaux antérieurs à la fois dans le domaine cible et dans le domaine contradictoire. Sur le domaine cible, cette étude trouve des exemples contradictoires plus puissants avec une forte généralisation en attaquant l'ensemble des états de l'identité cible. Pour le domaine contradictoire, les travaux antérieurs recherchaient des échantillons contradictoires discrets, c'est-à-dire la découverte de plusieurs « failles » (points) du système, tandis que cette recherche recherchait des variétés contradictoires continues, c'est-à-dire la recherche des parties intégrantes fragiles du système neuronal. réseau. Pièce "zone" (visage). De plus, cette étude introduit la connaissance du domaine de l'édition d'expressions et propose un nouveau paradigme basé sur l'instanciation de l'espace d'état d'expression. En échantillonnant continuellement la variété contradictoire générée, nous pouvons obtenir des échantillons contradictoires hautement généralisables avec des changements d'expression continus. Comparé à des méthodes telles que le maquillage, l'éclairage et l'ajout de perturbations, l'espace d'état d'expression est plus universel et naturel, et n'est pas affecté par le sexe et le sexe. éclairage.

Le document de recherche a été accepté par le CVPR 2023.

Lien papier : veuillez cliquer ici pour voir l'article

Le contenu qui doit être réécrit est : Lien de code https://github.com/tokaka22/GMAA

Méthode d'introduction

Dans la cible partie de domaine, auparavant Tout le travail consiste à concevoir des échantillons contradictoires pour une photo spécifique de l'identité cible A. Cependant, comme le montre la figure 2, lorsque l'échantillon contradictoire généré par cette méthode d'attaque est utilisé pour attaquer une autre photo de A, l'effet d'attaque sera considérablement réduit. Face à de telles attaques, changer régulièrement les photos de la base de reconnaissance faciale constitue naturellement une mesure de défense efficace. Cependant, le GMAA proposé dans cette étude s'entraîne non seulement sur un seul échantillon de l'identité cible, mais recherche également des échantillons contradictoires qui peuvent attaquer l'ensemble des états d'identité cible.

Un tel échantillon contradictoire hautement généralisable a de meilleures capacités face à. la bibliothèque de reconnaissance faciale mise à jour. Bonnes performances d'attaque.

Ces exemples contradictoires plus puissants correspondent également aux zones les plus faibles du réseau neuronal et méritent une exploration approfondie. Dans les recherches antérieures dans le domaine de l'adversité, les gens recherchent généralement un ou plusieurs échantillons contradictoires discrets, ce qui équivaut à trouver un ou plusieurs « points » où le réseau neuronal est vulnérable dans un espace de grande dimension. Cependant, cette étude estime que les réseaux de neurones peuvent être vulnérables sur l'ensemble du « visage » et devraient donc trouver tous les exemples contradictoires sur ce « visage ». Par conséquent, le but de cette recherche est de trouver des variétés contradictoires dans un espace de grande dimension. En résumé, le GMAA est un nouveau paradigme d’attaque qui utilise des variétés contradictoires pour attaquer l’ensemble d’états de l’identité cible.

Veuillez vous référer à la figure 1, qui est l'idée centrale de l'article

Plus précisément, cette étude présente le système de codage d'action faciale (FACS) comme connaissance de domaine pour instancier le Un nouveau paradigme d'attaque proposé . FACS est un système de codage des expressions faciales. Il divise le visage en différentes unités musculaires. Chaque élément du vecteur AU correspond à une unité musculaire. La taille de l'élément vectoriel représente l'activité musculaire de l'unité correspondante, codant ainsi l'état d'expression. . Par exemple, dans l'image ci-dessous, le premier élément du vecteur AU, AU1, représente le degré auquel l'intérieur du sourcil est relevé

De "Anatomie des expressions faciales"

Pour le domaine cible, ceci la recherche vise à attaquer une variété d'expressions Ensemble d'états cibles pour obtenir de meilleures performances d'attaque sur des photos cibles inconnues ; pour le champ adverse, cette recherche établit une variété contradictoire correspondant à l'espace AU, et peut échantillonner l'adversaire sur la variété adverse en modifiant le Valeur AU Sample, en changeant continuellement la valeur AU, génère des échantillons contradictoires avec des expressions en constante évolution

Il convient de noter que cette étude adopte l'espace d'état d'expression pour instancier le paradigme d'attaque GMAA. En effet, les expressions sont l'état le plus courant dans les activités faciales humaines et l'espace d'état d'expression est relativement stable et ne sera pas affecté par la race ou le sexe (la lumière peut changer la couleur de la peau et le maquillage peut affecter le sexe). En fait, tant que d’autres espaces d’états appropriés peuvent être trouvés, ce paradigme d’attaque peut être généralisé et appliqué à d’autres tâches d’attaque contradictoires dans la nature.

Le contenu qui doit être réécrit est : les résultats du modèle

Les résultats visuels de cette étude sont présentés dans l'animation ci-dessous. Chaque image d'animation est un échantillon contradictoire obtenu par échantillonnage sur la variété contradictoire. L'échantillonnage continu peut obtenir une série d'exemples contradictoires avec des expressions en constante évolution (à gauche). La valeur rouge dans l'animation représente la similarité entre l'échantillon contradictoire de la trame actuelle et l'échantillon cible (à droite) sous le système de reconnaissance faciale Face++

Dans le tableau 1, quatre modèles de reconnaissance faciale sont répertoriés dans deux attaques par boîte noire. taux de réussite sur l’ensemble de données. Parmi eux, MAA est une version réduite de GMAA étend uniquement le modèle d'attaque ponctuelle à de multiples attaques dans le domaine adverse, il attaque toujours une seule photo cible. L'ensemble d'états de la cible d'attaque est un paramètre expérimental courant. L'article ajoute ce paramètre aux trois méthodes incluant MAA dans le tableau 2 (la partie en gras dans le tableau est le résultat de l'ajout de ce paramètre, dans le tableau 2 (A "G"). est ajouté au nom de la méthode pour la distinguer), qui vérifie que l'expansion du domaine cible peut améliorer la généralisation des échantillons contradictoires

La figure 4 montre l'attaque contre deux API de systèmes commerciaux de reconnaissance faciale. Résultats

Le contenu est réécrit comme suit : L'étude a également exploré l'impact de différentes expressions sur les performances d'attaque, et l'impact du nombre d'échantillons dans l'état défini sur les performances de généralisation d'attaque

dans la figure 6, montre la comparaison des résultats de visualisation de différentes méthodes. La méthode MAA a échantillonné 20 échantillons contradictoires sur le collecteur contradictoire. D'après les résultats, on peut voir que l'effet de visualisation est plus naturel

Bien sûr, tous les ensembles de données ne contiennent pas d'images de différents états. Dans ce cas, comment étendre les données dans le champ cible ? Cette étude propose une solution réalisable qui utilise des vecteurs AU et des modèles d'édition d'expression pour générer un ensemble d'états cibles. L'étude montre également les résultats de l'attaque de l'ensemble d'états cibles synthétiques, et les résultats montrent que les performances de généralisation sont améliorées

Le contenu qui doit être réécrit est : Principe et méthode

Le contenu réécrit : Le partie centrale du modèle Il comprend un module de génération basé sur WGAN-GP, un module de supervision d'expression, un module d'amélioration de la transférabilité et un module d'attaque généralisée. Parmi eux, le module d'attaque généralisée peut réaliser la fonction d'agrégation des états cibles d'attaque, et le module d'amélioration de la transférabilité est basé sur des travaux de recherche antérieurs. Pour une comparaison équitable, ce module a été ajouté à tous les modèles de référence. Le module de supervision d'expression se compose de quatre éditeurs d'expression formés. Il réalise la conversion d'expression d'échantillons contradictoires grâce à la supervision de la structure globale et à la supervision des détails locaux. En ce qui concerne le module de supervision d'expression, les documents de support de l'article fournissent des expériences d'ablation correspondantes. la supervision locale des détails peut réduire les artefacts et le flou des images générées, améliorer efficacement la qualité visuelle des échantillons contradictoires et également améliorer la précision de la synthèse d'expression des échantillons contradictoires

De plus, l'article définit une variété contradictoire continue et le concept de la variété contradictoire sémantiquement continue

, et a prouvé en détail que la variété contradictoire générée par

est homéomorphe à l'espace vectoriel AU.

Le résumé est un résumé et un résumé des informations ou des expériences existantes. Il s'agit d'un processus d'organisation et de synthèse des pensées, visant à extraire les idées et les conclusions les plus importantes. Résumer peut nous aider à mieux comprendre et à mémoriser ce que nous avons appris, et cela peut également nous aider à mieux communiquer et partager nos idées. En résumant, nous pouvons simplifier des informations complexes et les résumer à leurs points essentiels, les rendant plus faciles à comprendre et à appliquer. Le résumé est un outil important dans le processus d’apprentissage et de communication. Il peut nous aider à traiter et à utiliser plus efficacement de grandes quantités d’informations. Que ce soit dans les études, au travail ou dans la vie, résumer est une compétence essentielle

En résumé, cette recherche propose un nouveau paradigme d'attaque appelé GMAA, tout enélargissant le domaine cible et les domaines adverses , améliorant ainsi les performances des attaques. Pour le domaine cible, GMAA améliore la capacité de généralisation à l'identité cible en attaquant un ensemble d'états au lieu d'une seule image. De plus, GMAA étend le domaine contradictoire de points discrets à des variétés contradictoires sémantiquement continues (« point à surface ») . Cette étude instancie le paradigme d'attaque GMAA en introduisant la connaissance du domaine de l'édition d'expression. De nombreuses expériences comparatives prouvent que le GMAA a de meilleures performances d'attaque et une qualité visuelle plus naturelle que les autres modèles concurrents.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!