Surpassant la méthode CVPR 2024, DynRefer réalise plusieurs SOTA dans des tâches de reconnaissance multimodale au niveau régional

Afin d'obtenir une compréhension multimodale de haute précision au niveau régional, cet article propose un schéma de résolution dynamique pour simuler le système cognitif visuel humain.

L'auteur de cet article est du laboratoire LAMP de l'Université de l'Académie chinoise des sciences. Le premier auteur Zhao Yuzhong est doctorant à l'Université de l'Académie chinoise des sciences en 2023, et le co-auteur Liu. Feng est doctorant direct à l'Université de l'Académie chinoise des sciences en 2020. Leurs principaux axes de recherche sont les modèles de langage visuel et la perception visuelle des objets.

Introduction

DynRefer améliore considérablement les capacités de reconnaissance multimodale au niveau régional en simulant le processus cognitif visuel humain. En introduisant le mécanisme de résolution dynamique de l'œil humain, DynRefer peut effectuer simultanément les tâches de reconnaissance de région, de détection d'attributs de région et de sous-titrage au niveau de la région avec un seul modèle, et atteindre les performances SOTA dans toutes les tâches ci-dessus. Parmi eux, il a obtenu 115,7 CIDEr sur la tâche de sous-titrage au niveau régional de l'ensemble de données RefCOCOg, ce qui est nettement supérieur aux méthodes CVPR 2024 telles que RegionGPT, GlaMM, Osprey, Alpha-CLIP, etc.

• Titre de l'article : DynRefer : Plonger dans les tâches multimodales au niveau régional via la résolution dynamique
• Lien de l'article : https://arxiv.org/abs/2405.16071
• Code de l'article : https ://github.com/callsys/DynRefer

Motivation

La tâche multimodale au niveau de la région est dédiée à la conversion de régions d'images spécifiées en descriptions linguistiques cohérentes avec les préférences humaines. Les humains ont une capacité d'adaptation à la résolution lorsqu'ils effectuent des tâches multimodales au niveau régional, c'est-à-dire que la zone d'intérêt est en haute résolution et la zone de non-attention est en basse résolution. Cependant, les grands modèles de langage multimodaux au niveau régional actuels adoptent souvent un schéma de codage à résolution fixe, c'est-à-dire qu'ils codent l'intégralité de l'image, puis extraient les caractéristiques régionales via RoI Align. Cette approche ne dispose pas de la capacité d'adaptation de résolution du système cognitif visuel humain et présente une faible efficacité de codage et une faible capacité pour les zones d'intérêt. Afin d'obtenir une compréhension multimodale de haute précision au niveau régional, nous proposons un schéma de résolution dynamique pour simuler le système cognitif visuel humain, comme le montre la figure ci-dessous.

区 Figure 1 : Comparaison des méthodes multimodales régionales traditionnelles (à gauche) et de la méthode Dynrefer (à droite).

Méthode

1. Simuler une image à résolution dynamique (construction multi-vues).

Étant donné que le modèle de langage visuel pré-entraîné (CLIP) grand public ne peut recevoir qu'une entrée de résolution uniforme, nous simulons une image à résolution dynamique en construisant plusieurs vues à résolution uniforme. L'image a une haute résolution dans la zone de référence et une faible résolution dans la zone de non-référence. Le processus spécifique est illustré à la figure 2. L'image originale x est recadrée et redimensionnée en plusieurs vues candidates. La superficie cultivée est calculée comme

, où . Ici représente le cadre de délimitation de la zone de référence, représente la taille de l'image entière et t représente le coefficient d'interpolation. Pendant la formation, nous sélectionnons au hasard n vues parmi les vues candidates pour simuler les images générées par le regard et les mouvements oculaires rapides. Ces n vues correspondent au coefficient d'interpolation t, qui est . Nous conservons fixement la vue contenant uniquement la région de référence (c'est-à-dire ). Il a été prouvé expérimentalement que cette vision aide à préserver les détails régionaux, ce qui est crucial pour toutes les tâches multimodales régionales.

                                                                                                                                                                                                                     ^{Figure 2 : Formation DynRefer (haut ) et inférence (en bas).}

2. Incorporation stochastique multi-vues. Le processus spécifique est illustré à la figure 3. Les n vues échantillonnées sont codées en caractéristiques spatiales via CLIP gelé, puis traitées par le module RoI-Align pour obtenir des intégrations de régions, c'est-à-dire . Ceci est illustré sur le côté gauche de la figure 3. Ces incorporations de régions ne sont pas alignées spatialement en raison d'erreurs spatiales introduites par le recadrage, le redimensionnement et RoI-Align. Inspiré par l'opération de convolution déformable, nous proposons un module d'alignement pour réduire le biais en alignant sur , où est la région intégrant l'encodage de vue contenant uniquement la région de référence. Pour chaque région intégrant , elle est d'abord concaténée avec puis une carte de décalage 2D est calculée via une couche convolutive. Les caractéristiques spatiales de sont ensuite rééchantillonnées en fonction du décalage 2D. Enfin, les intégrations de régions alignées sont concaténées le long de la dimension du canal et fusionnées à travers des couches linéaires. La sortie est ensuite compressée via un module de rééchantillonnage visuel, c'est-à-dire Q-former, extrayant ainsi une représentation régionale de la région de référence de l'image originale x ( sur la figure 3).

                                                                                                                                                                                                                   ^. La représentation de région calculée par le module d'intégration stochastique multi-vues est décodée par trois décodeurs

comme le montre la figure 3 (à droite), respectivement supervisés par trois tâches multimodales :

i ) Étiquette de région d'image génération. Nous utilisons un décodeur de reconnaissance léger basé sur des requêtes pour la génération d'étiquettes de région. Le décodeur est représenté sur la figure 3 (à droite). Le processus de marquage est complété par le calcul de la confiance d'une balise prédéfinie en utilisant la balise comme requête,

comme clé et valeur. Nous analysons les étiquettes des sous-titres de vérité terrain pour superviser le décodeur de reconnaissance. ii) Apprentissage contrastif région-texte. Semblable au décodeur de balises de région, le décodeur

est défini comme un décodeur de reconnaissance basé sur des requêtes. Le décodeur calcule les scores de similarité entre les sous-titres et les caractéristiques régionales, supervisés à l'aide de la perte SigLIP. iii) Modélisation du langage. Nous utilisons un grand modèle linguistique pré-entraîné pour convertir la représentation régionale
en une description linguistique.

^{Figure 4 : Performances du modèle DynRefer à double vue (n = 2) sur des tâches multimodales au niveau régional. Sous différents coefficients d'interpolation t, . La première vue est corrigée (), la vue deux est sélectionnée ou corrigée au hasard.}

4. Pendant le processus d'inférence, le modèle DynRefer formé effectue des tâches multimodales sur des images à résolution dynamique. En ajustant les coefficients d'interpolation des n vues échantillonnées, nous pouvons obtenir une représentation régionale avec des caractéristiques de résolution dynamique. Pour évaluer les propriétés à différentes résolutions dynamiques, nous avons formé un modèle DynRefer à double vue (n = 2) et l'avons évalué sur quatre tâches multimodales. Comme le montre la courbe de la figure 4, la détection d'attributs donne de meilleurs résultats pour les vues sans informations contextuelles (). Cela peut s'expliquer par le fait que de telles tâches nécessitent souvent des informations régionales détaillées. Pour les tâches de sous-titrage au niveau régional et de sous-titrage dense, une vue riche en contexte () est requise pour bien comprendre la région de référence. Il est important de noter que les vues avec trop de contexte () dégradent les performances de toutes les tâches car elles introduisent trop d'informations non pertinentes pour la région. Lorsque le type de tâche est connu, nous pouvons échantillonner les vues appropriées en fonction des caractéristiques de la tâche. Lorsque le type de tâche est inconnu, nous construisons d'abord un ensemble de vues candidates sous différents coefficients d'interpolation t, . À partir de l’ensemble candidat, n vues sont échantillonnées via un algorithme de recherche glouton. La fonction objectif de la recherche est définie comme :

où représente le coefficient d'interpolation de la i-ème vue, représente la i-ème vue, pHASH (・) représente la fonction de hachage perceptuelle de l'image et représente le XOR opération. Afin de comparer les informations des vues dans une perspective globale, nous utilisons la fonction "pHASH (・)" pour convertir les vues du domaine spatial vers le domaine fréquentiel, puis les encoder en codes de hachage. Pour cet élément , nous réduisons le poids des vues riches en contexte pour éviter d'introduire trop d'informations redondantes.

Expérience

Sous-titres au niveau régional

Dans la tâche de génération de sous-titres régionaux, DynRefer utilise un modèle plus petit (4,2B contre 7B) sur les ensembles de données RefCOCOg et VG dans les deux. Indicateurs METEOR et CIDEr, il surpasse largement de nombreuses méthodes du CVPR 2024, telles que RegionGPT, GlaMM, Alpha-CLIP et Osprey, etc., démontrant l'énorme avantage en termes de performances de DynRefer.

Sous-titrage dense

Dans la tâche de génération de sous-titres denses, dans l'ensemble de données VG1.2, DynRefer a amélioré 7,1 % de mAP par rapport à la méthode SOTA précédente GRiT.

Détection d'attributs de vocabulaire ouvert

Dans la tâche de détection d'attributs régionaux, DynRefer a également atteint les performances SOTA.

Reconnaissance de région de vocabulaire ouvert

Dans la tâche de reconnaissance de région, DynRefer améliore 15 % de mAP et 8,8 % de précision par rapport à RegionGPT de CVPR 24, et est 15,7 % de plus que mAP de ICLR 24.

Expérience d'ablation

• Ligne 1-6 : Une vue multiple dynamique aléatoire est meilleure qu'une vue fixe.
• Ligne 6-10 : La sélection des vues en maximisant les informations est préférable à la sélection aléatoire des vues.
• Ligne 10-13 : Des formations multitâches permettent d'apprendre de meilleures représentations régionales.

Visualisation

Les images suivantes montrent les résultats d'inférence de DynRefer peut utiliser un modèle pour générer simultanément des sous-titres, des balises, des attributs et des catégories régionaux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!