Mistral AI deux versions consécutives : 7B dédié au raisonnement mathématique, code d'architecture Mamba2 grand modèle

Les internautes sont curieux de savoir si Mathstral peut résoudre le problème de « qui est le plus grand, 9.11 ou 9.9 ? »

Hier, le cercle de l'IA a été submergé par une question simple comme "Qui est le plus grand, 9.11 ou 9.9 ?" De grands modèles de langage, dont OpenAI GPT-4o, Google Gemini, etc., ont tous été renversés.

Cela nous permet de voir que les grands modèles de langage ne peuvent pas comprendre et donner des réponses correctes comme les humains lorsqu'ils traitent certains problèmes numériques.

Pour les nombres et les problèmes mathématiques complexes, les modèles spéciaux sont plus spécialisés.

Aujourd'hui, la licorne française grand modèle Mistral AI a publié un 7B grand modèle "Mathstral" qui se concentre sur le raisonnement mathématique et la découverte scientifique pour résoudre des problèmes mathématiques avancés qui nécessitent un raisonnement logique complexe en plusieurs étapes.

Ce modèle est construit sur la base de Mistral 7B, prend en charge une longueur de fenêtre contextuelle de 32 Ko et suit l'accord open source de la licence Apache 2.0.

Mathstral a été conçu pour rechercher un excellent compromis performances-vitesse, une philosophie de développement que Mistral AI promeut activement, notamment avec ses capacités de réglage fin.

En même temps, Mathstral est un modèle d'instruction, qui peut être utilisé ou affiné. Les poids des modèles ont été placés sur HuggingFace.

• Poids des modèles : https://huggingface.co/mistralai/mathstral-7B-v0.1

L'image ci-dessous montre la différence de performances MMLU entre Mathstral 7B et Mistral 7B (appuyez sur division thématique).

Mathstral atteint des performances d'inférence de pointe à son échelle sur une variété de références standard de l'industrie. Surtout sur l'ensemble de données MATH, il a atteint un taux de réussite de 56,6 % et un taux de réussite de 63,47 % sur MMLU.

Dans le même temps, le taux de réussite de Mathstral en MATH (56,6%) est plus de 20% supérieur à celui de Minerva 540B. De plus, Mathstral a obtenu un score de 68,4 % sur MATH avec un vote majoritaire de 64 et 74,6 % en utilisant le modèle de récompense.

Ce résultat a également rendu les internautes curieux de savoir si Mathstral peut résoudre le problème de « qui est le plus grand, 9.11 ou 9.9 ? »

Code grand modèle : Codestral Mamba

• Poids du modèle : https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

avec Lancé avec Mathstral 7B, il existe également un modèle Codestral Mamba spécifiquement utilisé pour la génération de code, qui utilise l'architecture Mamba2 et suit également l'accord de licence open source Apache 2.0. Il s’agit d’un modèle de guidage comportant plus de 7 milliards de paramètres que les chercheurs peuvent utiliser, modifier et diffuser gratuitement.

Il convient de mentionner que Codestral Mamba a été conçu avec l'aide des auteurs de Mamba Albert Gu et Tri Dao.

Pendant longtemps, l'architecture Transformer a pris en charge la moitié du domaine de l'IA. Cependant, contrairement à Transformer, le modèle Mamba présente l'avantage d'un raisonnement temporel linéaire et peut théoriquement modéliser des séquences de longueur infinie. L'architecture permet aux utilisateurs d'interagir avec le modèle de manière approfondie et réactive sans être limités par la longueur des entrées. Cette efficacité est particulièrement importante pour la génération de code.

Lors des tests de référence, Codestral Mamba a surpassé les modèles open source concurrents CodeLlama 7B, CodeGemma-1.17B et DeepSeek dans le test HumanEval.

Mistral a testé le modèle, qui est disponible gratuitement sur l'API à la Plateforme de Mistral, et peut gérer des entrées allant jusqu'à 256 000 jetons, soit deux fois plus que le GPT-4o d'OpenAI.

Avec la sortie de Codestral Mamba, certains internautes l'ont utilisé dans VSCode, et c'est très fluide.

^{Lien de référence :}

^{https://mistral.ai/news/mathstral/}

^{https://mistral.ai/news/codestral-mamba/}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!