Un outil de visualisation capable de trouver des bogues de réseaux neuronaux, inclus dans la sous-revue Nature

Récemment, la sous-revue "Nature" a inclus un résultat de recherche permettant de découvrir où les réseaux neuronaux tournent mal. L'équipe de recherche propose une méthode de visualisation qui utilise la topologie pour décrire la relation entre les résultats d'inférence des réseaux de neurones et leur classification. Ce résultat peut aider les chercheurs à déduire les circonstances spécifiques de confusion lors du raisonnement sur les réseaux neuronaux et à rendre les systèmes d’intelligence artificielle plus transparents. Les chercheurs révèlent des points de défaillance dans l'inférence du réseau neuronal

L'observation des pics peut aider à identifier les points de défaillance des systèmes d'IA.

1. Manque de transparence dans le processus de raisonnement des réseaux neuronaux :
   Les réseaux de neurones sont efficaces pour résoudre les problèmes, mais leur processus de raisonnement est opaque, ce qui soulève des inquiétudes quant à leur fiabilité.
   • De nouvelles recherches permettent de découvrir la source des erreurs dans les réseaux de neurones.
2. Les caractéristiques de la « boîte noire » des réseaux de neurones :
   Il est difficile pour les réseaux de neurones de comprendre comment résoudre les problèmes, ce qui rend difficile de juger de l'exactitude de la réponse.
   • Les chercheurs ne peuvent pas retracer le processus décisionnel du réseau neuronal pour un seul échantillon.
3. Visualisez les résultats des décisions :
   Au lieu de suivre les décisions d'échantillons individuels, les chercheurs ont visualisé la relation entre les résultats de décision du réseau neuronal pour l'ensemble de la base de données et les échantillons.
   • Cela permet d'identifier les images avec une probabilité multiclasse plus élevée.
4. Analyse des données topologiques :
   Les chercheurs utilisent la topologie pour tracer la relation entre les résultats d'inférence et la classification.
   • Les outils d'analyse de données topologiques aident à identifier les similitudes entre les ensembles de données.
   • Cet outil a été utilisé pour analyser la relation entre les sous-groupes de cancer du sein et les gènes.
Lien papier : https://www.nature.com/articles/s42256-023-00749-8

5. Dans le diagramme de relation généré sur la base des nouveaux résultats de recherche :
   • Chaque point représente un neurone réseau Groupes d'images considérés comme liés
   • Les cartes de différentes catégories sont représentées par des couleurs différentes

   • Plus la distance entre les points est proche, plus le réseau neuronal considère chaque groupe d'images comme similaire

   La plupart de ces cartes montrent un seul point de couleur groupe.

Deux points superposés de couleurs différentes indiquent des images qui ont une forte probabilité d'appartenir à plusieurs catégories. "Notre approche est capable de créer un diagramme de relations semblable à une carte qui zoome sur certaines zones des données", a déclaré Gleich. "Ces zones sont souvent des endroits où les limites de certaines catégories ne sont pas claires, où la solution peut ne pas l'être. clair, il peut cependant mettre en évidence des prévisions de données spécifiques qui méritent une étude plus approfondie. Les cartes générées par la nouvelle méthode peuvent montrer des zones que le réseau ne peut pas classer. Cette méthode permet aux « chercheurs d’utiliser la façon innée de penser de l’humain pour spéculer sur le raisonnement des réseaux neuronaux ». "Cela nous permet de prédire comment le réseau réagira à de nouvelles entrées en fonction de ce que nous en savons", a déclaré Gleich. L'équipe a découvert que les réseaux neuronaux sont particulièrement sujets à des modèles confus dans des catégories telles que les radiographies pulmonaires, les séquences génétiques, et des vêtements. Par exemple, lorsqu'un réseau a été testé sur la base de données Imagenette (un sous-ensemble d'ImageNet), il a classé à plusieurs reprises les images de voitures comme des lecteurs de cassettes. Ils ont découvert que cela était dû au fait que les images provenaient de listes d’achats en ligne et contenaient des étiquettes pour des équipements audio de voiture.
La nouvelle approche de l’équipe permet de révéler « ce qui n’a pas fonctionné ». Gleich a déclaré: "L'analyse des données à ce niveau permet aux scientifiques de faire simplement un tas de prédictions utiles sur de nouvelles données et de comprendre en profondeur comment les réseaux neuronaux pourraient traiter leurs données.
"Notre outil semble très efficace pour aider à déterminer si." les données de formation elles-mêmes contiennent des erreurs », a déclaré Gleich. "Les gens font des erreurs lorsqu'ils étiquetent manuellement les données."
Les utilisations potentielles de cette stratégie d'analyse peuvent inclure des applications particulièrement importantes des réseaux de neurones. Prenons, par exemple, l’application des réseaux neuronaux dans les soins de santé ou en médecine pour étudier la septicémie ou le cancer de la peau.
Les critiques affirment que, parce que la plupart des réseaux de neurones sont formés sur des décisions passées qui reflètent des préjugés préexistants à l'encontre des groupes humains, les systèmes d'IA finiront par reproduire les erreurs du passé. Trouver un moyen de « comprendre les biais ou les biais dans les prédictions » à l'aide de nouveaux outils pourrait constituer une avancée significative, a déclaré Gleich.
Gleich a déclaré que le nouvel outil peut être utilisé avec des réseaux de neurones pour générer des prédictions spécifiques à partir de petits ensembles de données, telles que « si une mutation génétique est susceptible d'être nocive ». Mais jusqu’à présent, les chercheurs n’ont aucun moyen de l’appliquer à de grands modèles linguistiques ou à des modèles de diffusion.
Pour plus d’informations, veuillez vous référer au document original.
Contenu de référence :
https://spectrum.ieee.org/ai-mistakes
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/ tamaldey/
https://www.cs.purdue.edu/homes/dgleich/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!