ICML 2024 | Le grand modèle de langage facilite les tâches de détection de non-distribution basées sur CLIP

Lorsque les distributions de l'ensemble de données d'entraînement et de l'ensemble de données de test sont les mêmes, les modèles d'apprentissage automatique peuvent afficher des performances supérieures. Cependant, dans un environnement de monde ouvert, les modèles rencontrent souvent des échantillons hors distribution (OOD) qui peuvent rendre le modèle imprévisible et les conséquences des erreurs peuvent être fatales, en particulier dans des scénarios à haut risque tels que la conduite autonome. [1, 2]. Par conséquent, la détection OOD est cruciale pour garantir la fiabilité des modèles d’apprentissage automatique lors d’un déploiement réel.

La plupart des méthodes de détection OOD [1, 3] peuvent détecter efficacement les échantillons OOD sur la base de classificateurs In-Distribution (ID) bien entraînés. Cependant, pour différents ensembles de données d'identification, ils doivent recycler le classificateur pour la détection OOD. De plus, ces méthodes s’appuient uniquement sur des modèles visuels et ignorent le lien entre les images visuelles et les étiquettes textuelles. Avec l'émergence de modèles de langage visuel à grande échelle (modèles Vision-Manguage, VLM, tels que CLIP [4]), la détection OOD à tir nul devient possible [5]. En créant un classificateur de texte avec uniquement des étiquettes de catégorie d'ID, il est possible de détecter des échantillons OOD dans différents ensembles de données d'ID sans recycler le classificateur.

Bien que les méthodes de détection hors distribution existantes basées sur CLIP présentent des performances impressionnantes, elles échouent souvent lorsqu'elles rencontrent des échantillons hors distribution difficiles à détecter. Nous pensons que les méthodes existantes reposent uniquement sur les étiquettes de catégorie d'identification. Les classificateurs de texte limitent largement la capacité inhérente de CLIP à identifier des échantillons à partir de l'espace ouvert. Comme le montre la figure 1 (a), la méthode de construction d'un classificateur de texte qui repose uniquement sur les étiquettes de catégorie d'ID est difficile à distinguer des échantillons OOD difficiles à détecter (ensemble de données ID : CUB-200-2011, ensemble de données OOD : Lieux).

Figure 1. Diagramme schématique de la motivation de la recherche : (a) créer un classificateur de texte reposant uniquement sur les étiquettes de catégorie d'identification, (b) utiliser de véritables étiquettes OOD, (c) utiliser LLM pour imaginer une exposition potentielle à des valeurs aberrantes

Dans ce travail , nous proposons une méthode de détection hors distribution appelée Envisioning Outlier Exposure (EOE), qui exploite les connaissances spécialisées et les capacités d'inférence des grands modèles de langage (LLM) pour imaginer des expositions aberrantes potentielles, améliorant ainsi les performances de détection des VLM (illustré dans . Figure 1 (c)) sans accéder aux données OOD réelles. Nous concevons (1) des indices LLM basés sur la similarité visuelle pour générer des étiquettes de classe aberrantes potentielles spécifiquement pour la détection OOD, et (2) une nouvelle fonction de notation basée sur des pénalités aberrantes potentielles pour distinguer efficacement les échantillons OOD difficiles à identifier. Les expériences montrent qu'EOE atteint des performances supérieures dans différentes tâches OOD et peut s'adapter efficacement à l'ensemble de données ImageNet-1K.

ØLien papier : https://arxiv.org/pdf/2406.00806

ØLien code : https://github.com/tmlr-group/EOE

Ensuite, nous partagerons brièvement avec vous les résultats de la recherche sur le La direction de la détection hors distribution a été récemment publiée lors de l'ICML 2024.

Connaissances préliminaires

Introduction à la méthode

EOE vise à améliorer les performances de détection OOD sans tir en tirant parti du LLM pour générer des étiquettes de catégorie aberrantes potentielles. Cependant, étant donné que les catégories OOD rencontrées lors du déploiement du modèle sont inconnues, comment devrions-nous guider LLM pour générer les étiquettes de catégorie aberrantes requises ? Après avoir obtenu les étiquettes de classe aberrantes, comment pouvons-nous mieux distinguer les échantillons ID et OOD ? Pour résoudre ces problèmes, nous proposons un indice LLM spécifiquement pour la détection OOD, conçu sur la base du principe de similarité visuelle, et introduisons une nouvelle fonction de notation pour mieux distinguer les échantillons ID/OOD. Le cadre général de notre approche est présenté dans la figure 2.

Figure 2. Diagramme global du cadre EOE

La détection OOD à granularité fine est également appelée identification d'ensemble ouvert. Dans la détection OOD à granularité fine, les échantillons ID et OOD appartiennent à la même catégorie principale (comme par exemple). « oiseau » », et il existe des similitudes visuelles inhérentes entre les sous-classes (par exemple, « moineau » et « hirondelle »). Par conséquent, il est plus approprié de demander au LLM de proposer directement différentes sous-catégories au sein d’une même catégorie principale.

Les trois types d'invites LLM ci-dessus pour la détection OOD sont illustrés dans la figure 3

Figure 3. Trois types d'invites LLM conçues sur la base du principe de similarité visuelle

Figure 4. Pseudocode EOE

Les avantages de notre méthode sont résumés comme suit :

EOE ne repose pas sur une connaissance préalable de données OOD inconnues, elle est donc particulièrement adaptée aux scénarios de monde ouvert.

Échantillon zéro : le même modèle pré-entraîné peut être appliqué efficacement à une variété d'ensembles de données d'identification spécifiques à une tâche sans qu'il soit nécessaire d'entraîner chaque ensemble de données d'identification spécifique séparément. EOE atteint des performances de détection OOD supérieures en connaissant uniquement les balises de classe d'identification.

Évolutivité et polyvalence : par rapport aux méthodes de détection OOD à tir nul existantes [6] qui génèrent également des étiquettes de classe OOD latentes, l'EOE peut être facilement appliquée à des ensembles de données à grande échelle tels que ImageNet-1K. De plus, EOE fait preuve de polyvalence dans différentes tâches, notamment la détection OOD lointaine, proche et fine.

Résultats expérimentaux

Nous avons mené des expériences sur plusieurs ensembles de données de différentes tâches OOD. Le tableau 1 montre les résultats expérimentaux de la détection Far OOD sur ImageNet-1K, où Ground Truth représente les performances lors de l'utilisation de véritables étiquettes OOD, qui ne sont pas disponibles dans le déploiement réel. Les résultats montrent que l'EOE est comparable aux méthodes de réglage fin et surpasse le MCM [5].

Tableau 1. Résultats expérimentaux Far OOD

Nous rapportons également des résultats expérimentaux sur les tâches Near OOD et OOD à grain fin. Comme le montrent les tableaux 2 et 3, nos méthodes obtiennent toutes deux les meilleures performances de détection.

Tableau 2. Résultats expérimentaux proches de l'OOD

Tableau 3. Résultats expérimentaux OOD à grain fin

Nous avons mené des expériences d'ablation sur chaque modèle d'EOE, y compris différentes fonctions de notation, conseils LLM : différents Le nombre de LLM et d'étiquettes de classe OOD potentielles de différentes longueurs. Les expériences montrent que la fonction de notation que nous avons conçue et l'invite LLM conçue sur la base du principe de similarité visuelle atteignent des performances optimales, et notre méthode atteint d'excellentes performances sur différents LLM et le nombre d'étiquettes de classe OOD potentielles de différentes longueurs. Dans le même temps, nous avons également mené des expériences d'ablation sur la structure du modèle de langage visuel. Veuillez vous référer à l'article original pour les résultats expérimentaux détaillés.

Figure 5. Expérience d'ablation – ​​​​différentes fonctions de notation, indices LLM et différents LLM

Figure 5. Expérience d'ablation – ​​le nombre d'étiquettes de classe OOD potentielles générées

Nous avons analysé l'efficacité de EOE, En fait, il est peu probable que les étiquettes de classe d'anomalie générées aient une forte probabilité d'atteindre la véritable classe OOD. En effet, les données OOD rencontrées lors du déploiement réel du modèle sont diverses et imprévisibles. Cependant, guidés par des règles de similarité visuelle, même si la véritable classe OOD n'est pas atteinte, les étiquettes de classe anormales potentielles générées par EOE peuvent toujours améliorer les performances du modèle en matière de détection OOD.

Pour illustrer l'argument ci-dessus, nous montrons des visualisations dérivées de la sortie softmax des scores de correspondance d'étiquettes via T-SNE. Les résultats de visualisation entre notre EOE et la méthode de comparaison MCM sont présentés dans la figure 6. Sur la base des étiquettes de classe d'identification d'ImageNet-10, LLM génère des étiquettes d'anomalies potentielles « sous-marins » basées sur des règles de similarité visuelle. Lorsque vous rencontrez la « locomotive à vapeur » de classe OOD (une classe dans ImageNet-20), la « locomotive à vapeur » a la plus grande similitude avec le « sous-marin » dans et . Par conséquent, EOE le regroupera comme un « sous-marin » et le détectera ainsi comme une classe OOD. Cependant, s'il n'y a pas d'étiquettes de classe aberrantes potentielles, nous pouvons constater que MCM a tendance à regrouper toutes les étiquettes de classe OOD. Cela peut entraîner l’identification d’échantillons OOD difficiles à identifier en tant que classes ID. En résumé, dans notre cadre EOE, 1) les échantillons OOD appartenant à la même classe ont tendance à être regroupés, 2) les échantillons du même groupe sont classés en classes aberrantes supposées qui leur sont visuellement similaires (« Locomotive à vapeur »). vs « sous-marin »). Ces observations suggèrent que notre EOE peut améliorer la détection OOD sans toucher à la catégorie OOD réelle et est également sémantiquement plus facile à interpréter. Nous espérons que ces travaux pourront fournir une nouvelle idée pour les recherches futures dans le domaine de la détection OOD.

Figure 6. Résultats de visualisation

Références

[1] Hendrycks, D. et Gimpel, K. Une référence pour détecter les exemples mal classés et hors distribution dans les réseaux de neurones. Dans ICLR, 2017.

[2] Yang, J., Zhou, K., Li, Y. et Liu, Z. Détection généralisée hors distribution : une enquête arXiv préprint arXiv :2110.11334, 2021.

[3] Liu. , W., Wang, X., Owens, J. et Li, Y. Détection hors distribution basée sur l'énergie dans NeurIPS, 2020.

[4] Radford, A., Kim, J. W., Hallacy. , C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al. . Dans ICML, 2021.

[5] Ming, Y., Cai, Z., Gu, J., Sun, Y., Li, W. et Li, Y. Exploration de la détection hors distribution avec représentations en langage vision. Dans NeurIPS, 2022.

[6] Esmaeilpour, S., Liu, B., Robertson, E. et Shu, L. Détection hors distribution Zeroshot basée sur le clip modèle pré-entraîné. . Dans AAAI, 2022.

Introduction au groupe de recherche

Le Trustworthy Machine Learning and Reasoning Research Group (TMLR Group) de l'Université baptiste de Hong Kong est composé d'un certain nombre de jeunes professeurs, de chercheurs postdoctoraux, de doctorants et de doctorants invités. étudiants et Il est composé d'assistants de recherche et l'équipe de recherche est affiliée au Département d'informatique de l'École des sciences. Le groupe de recherche se spécialise dans l'apprentissage des représentations fiables, l'apprentissage fiable basé sur le raisonnement causal, les modèles de base fiables et d'autres algorithmes connexes, la théorie et la conception de systèmes, ainsi que les applications en sciences naturelles. Les orientations de recherche spécifiques et les résultats associés peuvent être consultés sur le site du groupe. Github (https://github.com/tmlr-group). L'équipe de recherche est financée par des fonds de recherche gouvernementaux et des fonds de recherche industrielle, tels que le Hong Kong Research Grants Council Outstanding Young Scholars Program, les projets généraux et les projets de jeunesse de la National Natural Science Foundation of China, ainsi que des fonds de recherche scientifique de Microsoft, NVIDIA, Baidu, Alibaba, Tencent et d'autres sociétés. Jeunes professeurs et chercheurs seniors travaillent main dans la main, et les ressources informatiques GPU sont suffisantes. Il permet le recrutement à long terme de nombreux chercheurs postdoctoraux, doctorants, assistants de recherche et stagiaires de recherche. De plus, notre groupe accueille également les candidatures de boursiers postdoctoraux invités autofinancés, d'étudiants au doctorat et d'assistants de recherche pour au moins 3 à 6 mois, et l'accès à distance est pris en charge. Étudiants intéressés, veuillez envoyer votre curriculum vitae et votre plan de recherche préliminaire à l'adresse e-mail (bhanml@comp.hkbu.edu.hk).

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!