NIST : le biais de l'IA va bien au-delà des données elles-mêmes

​À l’heure actuelle, personne ne devrait nier que la plupart des intelligences artificielles reposent sur une forme de biais problématique et l’utilisent actuellement. C’est un défi qui a été observé et prouvé des centaines de fois. Le défi pour les organisations est d’éliminer les préjugés de l’IA, plutôt que de se contenter de données de meilleure qualité et impartiales.

Dans une révision majeure de sa publication, Vers des normes pour l'identification et la gestion des biais dans l'intelligence artificielle (Publication spéciale NIST 1270), suite à une période de commentaires publics l'année dernière, le National Institute of Standards and Technology NIST avance un argument solide pour aller au-delà des données et même des processus de ML pour découvrir et détruire les biais de l'IA.

Plutôt que de blâmer les données mal collectées ou mal étiquetées, les auteurs affirment que la prochaine frontière de biais dans l'IA réside dans les « facteurs institutionnels et sociaux chez les humains et les systèmes » et plaident en faveur d'une perspective sociotechnique pour trouver de meilleures réponses.

« Le contexte est tout », a déclaré Reva Schwartz, chercheuse principale du NIST sur les préjugés dans l'intelligence artificielle et l'un des auteurs du rapport. "Les systèmes d'IA ne fonctionnent pas de manière isolée. Ils aident les gens à prendre des décisions qui ont un impact direct sur la vie des autres. Si nous voulons développer des systèmes d'IA fiables, nous devons prendre en compte tous les facteurs susceptibles d'éroder la confiance du public dans l'IA. beaucoup de choses qui vont au-delà de la technologie elle-même et ont un impact sur la technologie, ce qui est souligné par les commentaires que nous avons reçus de diverses personnes et organisations. Selon le rapport du NIST, les êtres humains sont essentiellement divisés en deux grandes catégories : les individus et les groupes, et il existe de nombreux préjugés spécifiques sous chaque catégorie.

Les préjugés humains individuels incluent la complaisance en matière d'automatisation, où les gens s'appuient trop sur des compétences automatisées ; les préjugés implicites, qui sont une croyance, une attitude, une association ou un stéréotype inconscient qui affecte les décisions de quelqu'un ; cohérents ou congruents avec leurs croyances existantes.

Les fondements humains des groupes incluent la pensée de groupe, le phénomène dans lequel les gens prennent des décisions sous-optimales par désir de se conformer au groupe ou d'éviter les biais de financement, lorsque des résultats biaisés sont rapportés pour satisfaire une agence de financement ou des bailleurs de fonds ; à leur tour, ils peuvent être sujets à des préjugés personnels/groupes supplémentaires.

Pour les préjugés systémiques, le rapport du NIST le définit comme historique, social et institutionnel. Essentiellement, des préjugés de longue date ont été codifiés dans la société et les institutions au fil du temps et sont largement acceptés comme des « faits » ou comme « simplement la façon dont les choses sont ».

La raison pour laquelle ces préjugés sont importants est l'impact du déploiement de l'IA sur la façon dont les organisations travaillent aujourd'hui. En raison de données racistes, les gens se voient refuser des prêts hypothécaires, ce qui les prive de la possibilité de devenir propriétaire pour la première fois. Les demandeurs d’emploi se voient refuser des entretiens parce que l’IA est formée pour prendre des décisions d’embauche qui favorisent historiquement les hommes par rapport aux femmes. Les jeunes étudiants prometteurs se voient refuser des entretiens ou l'admission à l'université parce que leur nom de famille ne correspond pas aux prénoms de personnes qui ont réussi dans le passé.

En d’autres termes : une IA biaisée crée autant de portes verrouillées que d’ouvertures efficaces. Si les organisations ne s’efforcent pas activement d’éliminer les préjugés dans leurs déploiements, elles se retrouveront rapidement confrontées à un grave manque de confiance dans leur façon de penser et de fonctionner.

Quelle est la perspective socio-technique recommandée par le NIST ?

À la base se trouve la reconnaissance que les résultats de toute application d’IA sont plus que de simples entrées mathématiques et informatiques. Ils sont réalisés par des développeurs ou des data scientists, leurs positions et institutions varient, et ils ont tous un certain niveau de charge.

Le rapport du NIST se lit comme suit : « Une approche sociotechnique de l'IA prend en compte les valeurs et les comportements modélisés à partir d'ensembles de données, les humains qui interagissent avec eux et les facteurs organisationnels complexes impliqués dans leur délégation, leur conception, leur développement et leur déploiement final. ”

Le NIST estime que, grâce à une optique socio-technique, les organisations peuvent obtenir un plus grand succès grâce à « l’exactitude, l’explicabilité et la compréhensibilité, la confidentialité, la fiabilité, la robustesse, la sécurité et la résilience de la sécurité » pour développer la confiance.

L'une de leurs recommandations est que les organisations mettent en œuvre ou améliorent leurs processus de test, d'évaluation, de validation et de validation (TEVV). Il devrait exister des moyens de vérifier mathématiquement les biais dans un ensemble de données ou un modèle entraîné donné. Ils recommandent également de créer une plus grande implication de différents domaines et postes dans les efforts de développement de l'IA, et d'avoir plusieurs parties prenantes de différents départements ou en dehors de l'organisation. Dans le modèle « humain dans la boucle », des individus ou des groupes corrigent en permanence les résultats de base du ML, ce qui constitue également un outil efficace pour éliminer les biais.

En plus de ces rapports et des rapports révisés, il existe le cadre de gestion des risques liés à l'intelligence artificielle (AI RMF) du NIST, un ensemble de recommandations fondées sur un consensus pour gérer les risques impliqués dans les systèmes d'IA. Une fois terminé, il couvrira la transparence, la conception et le développement, la gouvernance et les tests des technologies et produits d’IA. La période de commentaires initiale pour l'IA RMF est passée, mais nous avons encore de nombreuses occasions d'en apprendre davantage sur les risques et les mesures d'atténuation de l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!