Bytedance Doubao et l'Université de Wuhan ont proposé CAL : améliorer les effets d'alignement multimodal grâce à des jetons visuellement liés

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. E-mail de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Le modèle de langage visuel (VLM) grand public actuel est principalement basé sur le grand modèle de langage (LLM) pour un réglage plus précis. Par conséquent, il est nécessaire de mapper l'image à l'espace d'intégration de LLM de différentes manières, puis d'utiliser des méthodes autorégressives pour prédire la réponse en fonction du jeton d'image.

Dans ce processus, l'alignement modal est implicitement implémenté via des jetons de texte Comment bien aligner cette étape est très critique.

En réponse à ce problème, des chercheurs de l'Université de Wuhan, de l'équipe de grands modèles ByteDance Beanbao et de l'Université de l'Académie chinoise des sciences ont proposé une méthode de filtrage des jetons de texte (CAL) basée sur l'apprentissage contrastif pour filtrer les jetons de texte qui sont fortement liés à l'image, le poids de la fonction de perte est augmenté pour obtenir un alignement multimodal plus précis.

• Lien papier : https://arxiv.org/pdf/2405.17871
• Lien code : https://github.com/foundation-multimodal-models/CAL

CAL présente les points forts suivants :

• peut être directement intégré dans le processus de formation sans étape de pré-formation supplémentaire.
• a obtenu des améliorations significatives dans les tests d'OCR et de légende. À partir de la visualisation, on peut constater que CAL améliore l'alignement modal de l'image.
• CAL rend le processus de formation plus résistant aux données bruyantes.

Motivation pour la recherche

Actuellement, le modèle de langage visuel repose sur l'alignement des modalités de l'image, et la manière de procéder à l'alignement est très critique. La méthode courante actuelle consiste à effectuer un alignement implicite par autorégression de texte, mais la contribution de chaque jeton de texte à l'alignement de l'image est incohérente. Il est très nécessaire de distinguer ces jetons de texte.

CAL a proposé que dans les données de formation du modèle de langage visuel (VLM) existant, les jetons de texte puissent être divisés en trois catégories :

• Texte hautement lié aux images : tels que les entités ( Tels que personnes, animaux, objets), quantité, couleur, texte, etc. Ces jetons correspondent directement aux informations de l'image et sont cruciaux pour l'alignement multimodal.
• Texte avec une faible corrélation avec l'image : Comme les mots suivants ou le contenu qui peut être déduit du texte précédent. Ces jetons sont en fait principalement utilisés pour entraîner les capacités de texte brut de VLM.
• Texte qui contredit le contenu de l'image : ces jetons ne sont pas cohérents avec les informations de l'image et peuvent même fournir des informations trompeuses, affectant négativement le processus d'alignement multimodal.

标 Figure 1 : La marque verte est liée au jeton lié à un niveau élevé, le rouge est le contraire au contenu et l'incolore est le jeton neutre

Pendant le processus de formation, ces deux derniers types de Les jetons occupent en réalité une plus grande proportion, mais comme ils ne dépendent pas fortement de l’image, ils ont peu d’effet sur l’alignement modal de l’image. Par conséquent, afin d’obtenir un meilleur alignement, il est nécessaire d’augmenter le poids du premier type de jetons de texte, c’est-à-dire ceux qui sont fortement liés à l’image. Comment trouver cette partie du jeton est devenu la clé pour résoudre ce problème.

Méthode

Trouver des jetons hautement liés à l'image Ce problème peut être résolu par condition contrastive.

Pour chaque paire image-texte dans les données de formation, en l'absence d'entrée d'image, le logit sur chaque jeton de texte représente l'estimation de LLM de l'occurrence de cette situation en fonction du contexte et de la valeur des connaissances existantes.

• Si vous ajoutez une entrée d'image devant, cela équivaut à fournir des informations contextuelles supplémentaires. Dans ce cas, le logit de chaque jeton de texte sera ajusté en fonction de la nouvelle situation. Les changements logit dans ces deux cas représentent l'impact du nouvel état de l'image sur chaque jeton de texte.
Plus précisément, pendant le processus de formation, CAL saisit respectivement les séquences d'images et de texte et les séquences de texte individuelles dans le grand modèle de langage (LLM) pour obtenir le logit de chaque jeton de texte. En calculant la différence logit entre les deux cas, on peut mesurer l’impact de l’image sur chaque token. Plus la différence logit est grande, plus l'impact de l'image sur le jeton est grand, donc le jeton est plus pertinent par rapport à l'image. La figure ci-dessous montre l'organigramme des méthodes logit diff et CAL pour les jetons de texte.对 Figure 2 : L'image de gauche est la visualisation du diff logit du jeton dans les deux situations. L'image de droite est la visualisation du processus de la méthode CAL

Cal in Llava Une vérification expérimentale a été effectuée sur deux. modèles grand public : MGM et MGM, et des améliorations de performances ont été obtenues dans des modèles de différentes tailles.

Contient les quatre parties de vérification suivantes :

(1) Les modèles utilisant CAL fonctionnent mieux sur divers indicateurs de référence.

(2) Créez un lot de données de bruit (inadéquation image-texte) en échangeant de manière aléatoire le texte dans les deux paires image-texte en proportion, et utilisez-le pour la formation du modèle CAL. rend le processus de formation a des performances anti-bruit de données plus fortes.度 Figure 3 : Dans le cas d'un entraînement au bruit à différentes intensités, les performances du CAL et la ligne de base

(3) calcule les scores d'attention du jeton d'image dans la partie réponse du cas QA, et le trace sur l'image originale, le modèle formé par CAL a une carte de répartition de l'attention plus claire.

C Figure 4 : La ligne de base et la carte d'attention de CAL peuvent être visualisées. Le côté droit de chaque paire est CAL

(4) du jeton de texte au jeton de texte dans son vocabulaire LLM le plus similaire. l'image originale, le contenu de mappage de modèle formé par CAL est plus proche du contenu de l'image.

                                                                                                                                                                                                                                         

ByteDance Beanbag L'équipe modèle a été créée en 2023 et s'engage à développer la technologie de grands modèles d'IA la plus avancée de l'industrie, à devenir une équipe de recherche de classe mondiale et à contribuer au développement technologique et social.

L'équipe Doubao Big Model a une vision et une détermination à long terme dans le domaine de l'IA. Ses axes de recherche couvrent la PNL, le CV, la parole, etc., et elle dispose de laboratoires et de postes de recherche en Chine, Singapour, les États-Unis et d’autres endroits. S'appuyant sur les données, les ressources informatiques et autres de la plate-forme, l'équipe continue d'investir dans des domaines connexes. Elle a lancé un grand modèle général auto-développé pour fournir des capacités multimodales en aval, prenant en charge plus de 50 entreprises telles que Doubao, Buttons, et Jimeng, et est ouvert au public via les clients Volcano Engine. À l'heure actuelle, Doubao APP est devenue l'application AIGC avec le plus grand nombre d'utilisateurs sur le marché chinois. Bienvenue dans l'équipe modèle ByteDance Beanbao.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!