Un algorithme à faible coût améliore considérablement la robustesse de la classification visuelle ! Une équipe chinoise de l'Université de Sydney lance une nouvelle méthode EdgeNet

Présente une excellente précision dans les réseaux de neurones profonds (DNN). Cependant, ils montrent une vulnérabilité au bruit supplémentaire, c’est-à-dire aux attaques contradictoires. Des recherches antérieures ont émis l’hypothèse que cette vulnérabilité pourrait provenir d’une dépendance excessive des DNN de haute précision à l’égard de fonctionnalités insignifiantes et illimitées telles que la texture et l’arrière-plan. Cependant, de nouvelles recherches révèlent que cette vulnérabilité n’a rien à voir avec les caractéristiques spécifiques des DNN très précis qui font trop confiance à des facteurs non pertinents tels que leur poids et leur contexte.

Lors de la récente conférence académique AAAI 2024, des chercheurs de l'Université de Sydney ont révélé que « les informations de bord extraites des images peuvent fournir des caractéristiques très pertinentes et robustes liées à la forme et à l'arrière-plan ».

Lien papier : https://ojs.aaai.org/index.php/AAAI/article/view/28110

Ces fonctionnalités aident le réseau profond pré-entraîné à améliorer sa robustesse contradictoire. , sans affecter sa précision sur des images claires.

Les chercheurs proposent un EdgeNet léger et adaptable qui peut être intégré de manière transparente aux réseaux profonds pré-entraînés existants, y compris les Vision Transformers (ViTs), la dernière génération de modèles avancés pour la famille de classification visuelle.

EdgeNet est une technique d'extraction de bords qui traite les bords extraits d'images naturelles propres ou d'images contradictoires bruyantes, et peut être injectée dans la couche intermédiaire d'un réseau profond de base pré-entraîné et gelé. Ce réseau profond possède d'excellentes fonctionnalités de robustesse de base et peut extraire des fonctionnalités avec des informations sémantiques riches. En insérant EdgeNet dans un tel réseau, on peut profiter de son réseau profond backbone de haute qualité

Il convient de noter que cette approche entraîne des coûts supplémentaires minimes : en utilisant des algorithmes de détection de contours traditionnels tels que celui mentionné dans l'article The le coût d'acquisition de ces périphéries (détecteur de périphérie Canny) est minime par rapport au coût d'inférence pour les réseaux profonds, tandis que le coût de formation d'EdgeNet est comparable au coût de réglage fin du réseau fédérateur à l'aide de techniques telles que les adaptateurs ;

Architecture EdgeNet

Afin d'injecter des informations de bord dans les images dans le réseau fédérateur pré-entraîné, l'auteur introduit un réseau de branches secondaires appelé EdgeNet. Ce réseau collatéral léger et plug-and-play peut être intégré de manière transparente aux réseaux profonds pré-entraînés existants, y compris les modèles de pointe tels que les ViT.

S'appuyant sur les informations de bord extraites de l'image d'entrée, EdgeNet+ peut générer un ensemble de fonctionnalités robustes. Ce processus produit une fonctionnalité robuste qui peut être injectée de manière sélective dans le réseau profond de base pré-entraîné pour être gelée dans les couches intermédiaires du réseau profond.

En injectant ces fonctionnalités robustes, la capacité du réseau à se défendre contre les perturbations adverses peut être améliorée. Dans le même temps, étant donné que le réseau fédérateur est gelé et que l'injection de nouvelles fonctionnalités est sélective, la précision du réseau pré-entraîné dans l'identification d'images claires et non perturbées peut être maintenue.

Comme le montre la figure, l'auteur insère de nouveaux blocs de construction EdgeNet à un certain intervalle N en fonction des blocs de construction d'origine . La nouvelle sortie de la couche intermédiaire peut être représentée par la formule suivante :

Blocs de construction EdgeNet

Pour réaliser une extraction sélective de fonctionnalités et une injection sélective de fonctionnalités, ces blocs de construction EdgeNet adoptent une structure "sandwich": chaque convolution zéro ( convolution nulle) est ajouté avant et après le bloc pour contrôler l’entrée et la sortie. Entre ces deux convolutions nulles se trouve un bloc ViT à initialisation aléatoire et la même architecture que le réseau fédérateur

Avec une entrée nulle, agit comme un filtre pour extraire les informations pertinentes pour l'objectif d'optimisation ; avec une sortie nulle, il agit comme un filtre pour déterminer les informations à intégrer dans le backbone. De plus, avec une initialisation nulle, il est garanti que le flux d'informations au sein du backbone ne reste pas affecté. En conséquence, les réglages ultérieurs d’EdgeNet deviennent plus simples.

Objectif de formation

Pendant le processus de formation EdgeNet, le réseau fédérateur ViT pré-entraîné est gelé à l'exception du responsable de la classification et ne sera pas mis à jour. L'objectif d'optimisation se concentre uniquement sur le réseau EdgeNet introduit pour les fonctionnalités de périphérie et sur les têtes de classification au sein du réseau fédérateur. Ici, l'auteur adopte un objectif d'optimisation conjoint très simplifié pour assurer l'efficacité de l'entraînement :

Dans la Formule 9, α est le poids de la fonction de perte de précision, et β est le poids de la fonction de perte de robustesse. En ajustant la taille de α et β, l'équilibre des objectifs de formation EdgeNet peut être affiné pour atteindre l'objectif d'améliorer sa robustesse sans perdre de manière significative en précision.

Résultats expérimentaux

Les auteurs ont testé la robustesse de deux catégories majeures sur l'ensemble de données ImageNet.

La première catégorie est la robustesse contre les attaques adverses, y compris les attaques en boîte blanche et les attaques en boîte noire.

La deuxième catégorie est la robustesse contre certaines perturbations courantes, y compris les perturbations naturelles dans ImageNet-A Natural Adversarial ; Exemples, données hors distribution dans ImageNet-R et corruptions courantes dans ImageNet-C.

L'auteur a également visualisé les informations de bord extraites sous différentes perturbations.

Tests d'échelle et de performances du réseau

Dans la partie expérimentale, l'auteur a d'abord testé les performances de classification et la charge de calcul d'EdgeNet à différentes échelles (Tableau 1). Après avoir examiné de manière approfondie les performances de classification et la charge de calcul, ils ont déterminé que la configuration #Intervals = 3 était le paramètre optimal.

Dans cette configuration, EdgeNet obtient des améliorations significatives en matière de précision et de robustesse par rapport aux modèles de base. Il permet d'obtenir un compromis équilibré entre performances de classification, exigences informatiques et robustesse.

Cette configuration permet d'obtenir des gains substantiels en termes de clarté, de précision et de robustesse tout en conservant une efficacité de calcul raisonnable.

Comparaison de précision et de robustesse

Les auteurs ont comparé leur proposition EdgeNet avec 5 catégories différentes de méthodes SOTA (Tableau 2). Ces méthodes incluent des CNN formés sur des images naturelles, des CNN robustes, des ViT formés sur des images naturelles, des ViT robustes et des ViT robustes et affinés.

Les mesures prises en compte incluent la précision sous les attaques contradictoires (FGSM et PGD), la précision sur ImageNet-A et la précision sur ImageNet-R.

De plus, l'erreur moyenne (mCE) ​​​​d'ImageNet-C est également signalée, avec des valeurs plus faibles indiquant de meilleures performances. Les résultats expérimentaux démontrent qu'EdgeNet présente des performances supérieures face aux attaques FGSM et PGD, tout en fonctionnant à égalité avec les méthodes SOTA précédentes sur l'ensemble de données propre ImageNet-1K et ses variantes.

De plus, l'auteur a également mené des expériences d'attaque par boîte noire (Tableau 3). Les résultats expérimentaux montrent qu’EdgeNet peut également résister très efficacement aux attaques par boîte noire.

Conclusion

Dans ce travail, l'auteur a proposé une nouvelle méthode appelée EdgeNet, qui peut améliorer la robustesse des réseaux de neurones profonds (en particulier les ViT) en utilisant les informations de bord extraites des images sexuelles.

Il s'agit d'un module léger qui peut être intégré de manière transparente aux réseaux existants. Il peut améliorer efficacement la robustesse des adversaires. Des expériences ont montré qu'EdgeNet est efficace : il n'entraîne qu'une surcharge de calcul supplémentaire minime.

De plus, EdgeNet a une large applicabilité sur divers benchmarks robustes. Cela en fait une évolution remarquable dans le domaine.

De plus, les résultats expérimentaux confirment qu'EdgeNet peut résister efficacement aux attaques adverses et maintenir la précision sur des images claires, ce qui met en évidence le potentiel des informations de bord en tant que fonctionnalité robuste et pertinente dans les tâches de classification visuelle.

Il convient de noter que la robustesse d'EdgeNet ne se limite pas aux attaques contradictoires, mais couvre également les attaques impliquant des exemples contradictoires naturels (ImageNet-A), des données en dehors de la distribution (ImageNet-R) et des scénarios de destruction commune (ImageNet-C). .

Cette application plus large met en évidence la polyvalence d'EdgeNet et montre son potentiel en tant que solution complète aux divers défis des tâches de classification visuelle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!