Le grand modèle Yi-VL est open source et se classe premier dans MMMU et CMMMU

Le 22 janvier, la famille de modèles de la série Yi a accueilli un nouveau membre : Le grand modèle de langage multimodal Yi Vision Language (Yi-VL) est officiellement open source pour le monde. Il est rapporté que le modèle Yi-VL est développé sur la base du modèle de langage Yi, comprenant deux versions Yi-VL-34B et Yi-VL-6B.

Adresse open source du modèle Yi-VL :

• https://huggingface.co/01-ai
• https://www.modelscope.cn/organization/01ai

Grâce à ses excellentes capacités de compréhension d'images et de textes et de génération de dialogues, le modèle Yi-VL a obtenu des résultats de premier plan sur l'ensemble de données anglais MMMU et l'ensemble de données chinois CMMMU, démontrant sa forte force dans les tâches interdisciplinaires complexes.

L'ensemble de données MMMU (nom complet Massive Multi-discipline Multi-modal Understanding & Reasoning) contient 11 500 données provenant de six disciplines principales (art et design, commerce, sciences, santé et médecine, sciences humaines et sociales, et technologie et des problèmes d'ingénierie) impliquant des types d'images très hétérogènes et des informations texte-image entrelacées imposent des exigences extrêmement élevées aux capacités avancées de perception et de raisonnement du modèle. Sur cet ensemble de tests, Yi-VL-34B a surpassé une série de grands modèles multimodaux avec une précision de 41,6 %, juste derrière GPT-4V (55,7 %) , démontrant une solide compréhension des connaissances interdisciplinaires et une forte capacité d'application.

^{Source : https://mmmu-benchmark.github.io}

Sur l'ensemble de données CMMMU créé pour la scène chinoise, le modèle Yi-VL montre « une meilleure compréhension " Les avantages uniques du peuple chinois. CMMMU contient environ 12 000 questions multimodales chinoises dérivées d'examens universitaires, de quiz et de manuels. Parmi eux, GPT-4V a une précision de 43,7 % sur cet ensemble de tests, suivi de près par Yi-VL-34B avec une précision de 36,5 %, prenant la tête des modèles multimodaux open source existants.

^{Source : https://cmmmu-benchmark.github.io/}

Alors, comment le modèle Yi-VL fonctionne-t-il dans divers scénarios tels que les dialogues graphiques et textuels ?

Regardons d'abord deux exemples :

Vous pouvez voir que, grâce aux puissantes capacités de compréhension de texte du modèle de langage Yi, vous pouvez obtenir une bonne vision multimodale en alignant simplement les images. . Modèle de langage - C'est également l'un des principaux points forts du modèle Yi-VL.

^{Aperçu de la conception de l'architecture du modèle Yi-VL et du processus de méthode de formation.}

Sur conception d'architecture, le modèle Yi-VL est basé sur l'architecture open source LLaVA et contient trois modules principaux :

• Vision Transformer (ViT en abrégé) est utilisé pour le codage d'images, à l'aide du modèle open source OpenClip ViT-H/14 initialise les paramètres entraînables et apprend à extraire des fonctionnalités de paires « image-texte » à grande échelle, donnant au modèle la capacité de traiter et de comprendre les images. Le module
• Projection apporte au modèle la possibilité d'aligner spatialement les caractéristiques de l'image avec les caractéristiques du texte. Ce module se compose d'un Perceptron Multicouche (MLP) contenant des normalisations de couches. Cette conception permet au modèle de fusionner et de traiter plus efficacement les informations visuelles et textuelles, améliorant ainsi la précision de la compréhension et de la génération multimodales.
• L'introduction des modèles linguistiques à grande échelle Yi-34B-Chat et Yi-6B-Chat fournit à Yi-VL de puissantes capacités de compréhension et de génération du langage. Cette partie du modèle utilise une technologie avancée de traitement du langage naturel pour aider Yi-VL à comprendre en profondeur les structures linguistiques complexes et à générer une sortie de texte cohérente et pertinente.

Dans la méthode de formation, le processus de formation du modèle Yi-VL est divisé en trois étapes soigneusement conçues, visant à améliorer de manière globale les capacités de traitement visuel et linguistique du modèle.

• Phase 1 : Zero One Wish utilise 100 millions d'ensembles de données appariés « image-texte » pour former les modules ViT et Projection. À ce stade, la résolution de l’image est réglée sur 224 x 224 pour améliorer les capacités d’acquisition de connaissances de ViT dans des architectures spécifiques tout en permettant un alignement efficace avec de grands modèles de langage.
• La deuxième étape : Zero One Thing augmente la résolution de l'image de ViT à 448x448. Cette amélioration permet au modèle de mieux reconnaître les détails visuels complexes. Cette étape utilise environ 25 millions de paires image-texte.
• La troisième étape : Zero One Wish ouvre les paramètres de l'ensemble du modèle pour la formation, dans le but d'améliorer les performances du modèle dans l'interaction de chat multimodale. Les données de formation couvrent un large éventail de sources de données, avec un total d'environ 1 million de paires « image-texte », garantissant l'étendue et l'équilibre des données.

L'équipe technique de Zero One Things a également vérifié qu'elle pouvait s'appuyer sur les puissantes capacités de compréhension et de génération du langage du modèle de langage Yi, et utiliser d'autres méthodes de formation multimodales telles que BLIP, Flamingo, EVA, etc. pour former rapidement un modèle graphique-texte multimodal efficace pour la compréhension des images et un dialogue graphique-texte fluide. Les modèles de la série Yi peuvent être utilisés comme modèles de langage de base pour les modèles multimodaux, offrant ainsi une nouvelle option à la communauté open source.

Actuellement, le modèle Yi-VL est ouvert au public sur des plateformes telles que Hugging Face et ModelScope. Les utilisateurs peuvent découvrir les excellentes performances de ce modèle dans divers scénarios tels que les dialogues graphiques et textuels via les liens suivants. Bienvenue pour explorer les fonctions puissantes du modèle de langage multimodal Yi-VL et découvrir les réalisations technologiques de pointe en matière d'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!