Trop complet ! Apple lance le nouveau modèle visuel 4M-21, capable de 21 modes

Les modèles de base multimodaux et multitâches actuels, tels que **4M** ou **UnifiedIO**, montrent des résultats prometteurs. Cependant, leur capacité originale à accepter différentes entrées et à effectuer différentes tâches est limitée par le nombre (généralement faible) de modalités et de tâches pour lesquelles ils sont formés.

, Sur cette base, des chercheurs de l'Ecole Polytechnique Fédérale de Lausanne (EPFL) et Apple ont développé conjointement un modèle unique modal **avancé** any-to-any qui est **largement** diversifié dans des dizaines de formations. diverses modalités et effectuer une formation collaborative sur des ensembles de données multimodaux et des corpus de textes à grande échelle.

Une étape clé du processus de formation consiste à effectuer une **tokénisation** discrète sur diverses modalités, qu'il s'agisse de données structurées telles qu'un réseau neuronal de type image **cartes de caractéristiques**, de vecteurs, de segmentation d'instance ou de poses humaines, ou Données pouvant être représentées sous forme de texte.

• Adresse du papier : https://arxiv.org/pdf/2406.09406

• Page d'accueil du papier https://4m.epfl.ch/

• Titre du papier : 4M-21 : An Any -to-Any Vision Model pour des dizaines de tâches et de modalités

Cette étude montre que la formation d'un seul modèle peut également effectuer au moins **trois fois** plus de tâches/**modalités** que les modèles existants, et le fait non, les performances seront perdues. En outre, cette recherche permet également d’obtenir des capacités de génération de données multimodes plus fines et plus contrôlables.

Cette recherche s'appuie sur le schéma de pré-formation au masque multimodal et améliore les capacités du modèle en s'entraînant sur des dizaines de modalités très diverses. En l'encodant à l'aide de tokenizers discrets spécifiques aux modalités, l'étude permet de former un seul modèle unifié sur différentes modalités.

En termes simples, cette recherche étend les capacités des modèles existants dans plusieurs dimensions clés :

• Modalités : de 7 modalités du meilleur modèle arbitraire à arbitraire existant à 21 modalités différentes, permettant une récupération intermodale et une génération contrôlable. et de puissantes performances prêtes à l'emploi. C'est la première fois qu'un modèle de vision unique peut résoudre des dizaines de tâches différentes de manière polyvalente sans compromettre les performances et sans aucun apprentissage multitâche traditionnel.

• Diversité : ajoutez la prise en charge de données plus structurées, telles que les poses humaines, les instances SAM, les métadonnées, etc.

• tokenisation : étudiez la tokenisation discrète de différentes modalités à l'aide de méthodes spécifiques aux modalités, telles que l'intégration d'images globales, les poses humaines et les instances sémantiques.

• Extension : étendez la taille du modèle à 3 B de paramètres et l'ensemble de données à 0,5 B d'échantillons.

• Formation collaborative : formation collaborative en vision et en langage en même temps.

Introduction à la méthode

Cette étude utilise le programme de pré-formation 4M (l'étude provient également de l'EPFL et d'Apple et a été publiée l'année dernière), qui s'est avérée être une méthode générale qui peut être efficacement étendue à plusieurs -modalité.

Plus précisément, cet article maintient inchangés les objectifs de formation de l'architecture et du masque multimodal, en augmentant la taille du modèle et des ensembles de données, en augmentant le type et le nombre de modalités impliquées dans la formation du modèle, et conjointement sur plusieurs ensembles de données. La formation peut améliorer les performances et l’adaptabilité du modèle.

Les modalités sont divisées dans les catégories suivantes : RVB, géométrie, sémantique, bord, carte des caractéristiques, métadonnées et texte, comme le montre la figure ci-dessous.

Tokenisation

La tokenisation comprend principalement la conversion de différentes modalités et tâches en séquences ou jetons discrets, unifiant ainsi leurs espaces de représentation. Les chercheurs utilisent différentes méthodes de tokenisation pour discrétiser les modes présentant des caractéristiques différentes, comme le montre la figure 3. En résumé, cet article utilise trois tokenizers, dont le tokenizer ViT, le tokenizer MLP et le tokenizer texte.

En termes de sélection d'architecture, cet article adopte l'architecture encodeur-décodeur 4M basée sur Transformer, et ajoute des intégrations modales supplémentaires pour s'adapter aux nouvelles modalités.

Résultats expérimentaux

Ensuite, l'article démontre les capacités multimodales du 4M-21.

Génération multimodale

Basé sur un jeton de décodage itératif, 4M-21 peut être utilisé pour prédire n'importe quelle modalité d'entraînement. Comme le montre la figure 2, cet article peut générer toutes les modalités de manière cohérente à partir d'une modalité d'entrée donnée.

De plus, étant donné que cette étude peut générer de manière conditionnelle et inconditionnelle n'importe quelle modalité de formation à partir de n'importe quel sous-ensemble d'autres modalités, elle prend en charge plusieurs méthodes pour effectuer une génération fine et multimodale, comme le montre la figure 4, par exemple, effectuer une édition multimodale . De plus, 4M-21 démontre une compréhension améliorée du texte, à la fois sur les intégrations T5-XXL et les sous-titres réguliers, permettant une génération géométrique et sémantiquement sonore (Figure 4, en haut à droite).

Récupération multimodale

Comme le montre la figure 5, 4M-21 débloque des capacités de récupération qui ne sont pas possibles avec les modèles DINOv2 et ImageBind d'origine, telles que la récupération d'images RVB ou d'autres modalités en utilisant d'autres modalités comme requêtes . De plus, 4M-21 peut combiner plusieurs modalités pour prédire les plongements globaux, permettant ainsi un meilleur contrôle de la récupération, comme indiqué à droite.

Hors de la boîte

Le 4M-21 est capable d'effectuer une gamme de tâches de vision courantes prêtes à l'emploi, comme le montre la figure 6.

Le Tableau 1 évalue l'estimation de la normale et de la profondeur de la surface DIODE, la segmentation sémantique et des instances COCO, l'estimation de la pose humaine 3D 3DPW, etc.

Expérience de transfert

De plus, cet article a également formé des modèles de trois tailles différentes : B, L et XL. Leur encodeur est ensuite transféré aux tâches en aval et évalué sur les paramètres monomodalité (RVB) et multimodalité (RVB + profondeur). Toutes les expériences de transfert abandonnent le décodeur et forment à la place un responsable spécifique à une tâche. Les résultats sont présentés dans le tableau 2 :

Enfin, cet article effectue un transfert multimodal sur NYUv2, une segmentation sémantique Hypersim et une détection d'objets 3D sur ARKitScenes. Comme le montre le tableau 3, 4M-21 tire pleinement parti de l'entrée de profondeur facultative et améliore considérablement la ligne de base.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!