Tireur d'élite de précision Lama 3.1 ? Mistral AI open source Large 2, 123B est comparable à Llama 405B

La course à l’

IA s’accélère comme jamais auparavant, et suite au lancement hier par Meta de son nouveau modèle open source Llama 3.1, la startup française d’IA Mistral AI a rejoint la mêlée.

Tout à l'heure, Mistral AI a annoncé la prochaine génération de son modèle open source phare : Mistral Large 2, qui compte 123 milliards de paramètres et est à égalité avec les derniers modèles de pointe d'OpenAI et Meta en termes de génération de code, de mathématiques, raisonnement, et plus encore.

Suite à la sortie de Llama 3.1 405B, la sortie de Mistral Large 2 a soudainement rendu vivante la piste des grands modèles open source, et la caractéristique de ce modèle est - "assez grand".

Plus précisément, bien que le nombre de paramètres de Mistral Large 2 soit inférieur aux 405 milliards de Llama 3.1, les performances des deux sont proches. Et il est comparable à GPT-4o et au Claude 3.5 Sonnet d’Anthropic dans plusieurs benchmarks.

En février de cette année, Mistral AI a lancé le grand modèle original, dont la fenêtre contextuelle contenait 32 000 jetons. La nouvelle version du modèle est construite sur cette base et dispose d'une fenêtre contextuelle plus grande de 128 000 (environ l'équivalent de 128 000 jetons). un livre) Livre de 300 pages) - Correspond aux GPT-4o et GPT-4o mini d'OpenAI et au Llama 3.1 de Meta.

Actuellement, Mistral Large 2 prend en charge des dizaines de langues, dont le français, l'allemand, l'espagnol, l'italien, le portugais, l'arabe, l'hindi, le russe, le chinois, le japonais et le coréen, et plus de 80 langages de programmation, dont Python, Java, C, C++, JavaScript et Bash.

Mistral AI souligne que les nouveaux modèles continueront de repousser les limites de la rentabilité, de la vitesse et des performances, tout en offrant aux utilisateurs de nouvelles fonctionnalités, notamment des appels de fonctions avancés et une récupération, pour créer des applications d'IA hautes performances.

Cependant, il convient de noter que bien que Mistral Large 2 soit ouvert, il est limité à la recherche et à une utilisation non commerciale. Il fournit des pondérations ouvertes, permettant à des tiers d'affiner le modèle en fonction de leurs besoins. Cet accord constitue une limitation importante des conditions d'utilisation de l'utilisateur. Pour une utilisation commerciale nécessitant l'auto-déploiement de Mistral Large 2, une licence commerciale Mistral AI doit être obtenue au préalable.

Performance

Sur de multiples indicateurs d'évaluation, Mistral Large 2 a établi de nouvelles normes en matière de performance et de coût de service. Surtout sur MMLU, la version pré-entraînée a atteint une précision de 84,0 %.

Code et raisonnement

Mistral AI a formé Mistral Large 2 sur une grande partie du code sur la base de son expérience antérieure avec Codestral 22B et Codestral Mamba.

Mistral Large 2 est bien meilleur que la génération précédente Mistral Large et est à égalité avec les meilleurs modèles comme GPT-4o, Claude 3 Opus et Llama 3 405B.

Mistral AI a également déployé beaucoup d'efforts pour améliorer les capacités de raisonnement du modèle. L'un des points clés est de minimiser la tendance du modèle à produire des « hallucinations » ou à produire des informations qui semblent raisonnables mais qui sont en réalité incorrectes ou. non pertinent. Ceci est obtenu en ajustant le modèle pour qu'il soit plus prudent et plus précis dans ses réponses, garantissant ainsi qu'il fournit une sortie fiable et précise.

De plus, Mistral Large 2 admettra lorsqu'il ne trouvera pas de solution ou ne dispose pas de suffisamment d'informations pour fournir une réponse sûre. Cette recherche de précision se reflète dans l'amélioration des performances du modèle sur les tests mathématiques, le graphique suivant démontrant ses capacités améliorées de raisonnement et de résolution de problèmes :                                                                     ‐ ‐ ‐ ‐ ‐ ‐ ​ ​ ​  Les modèles sont tous comparés via le même processus d’évaluation). Précision des performances sur MultiPL-E (sauf papier, tous les modèles sont comparés via le même processus d'évaluation).

                          Précision des performances sur les benchmarks de génération GSM8K (8 tirs) et MATH (0 tir, pas de CoT) (tous les modèles sont comparés via le même processus d'évaluation).

Instructions à suivre et à aligner

Mistral AI a grandement amélioré les capacités de suivi de commandes et de conversation de Mistral Large 2. Le nouveau Mistral Large 2 est particulièrement doué pour suivre des instructions précises et gérer de longues conversations à plusieurs tours. T Voici ses performances dans les tests de référence MT-Bench, Wild Bench et Arena Hard :

Les performances du modèle dans le test d'alignement universel (tous les modèles sont testés par le même PIPELINE d'évaluation) Dans certains benchmarks, générer des réponses plus longues a tendance à améliorer les notes. Cependant, dans de nombreuses applications commerciales, la simplicité est cruciale car la génération de modèles concis accélère les interactions et réduit le coût de l’inférence.

Mistral AI met donc beaucoup d'efforts pour s'assurer que le contenu qu'il génère est aussi concis et concis que possible.

La figure suivante montre la longueur moyenne des réponses générées par différents modèles sur la question de référence MT Bench :

Diversité linguistique

Un grand nombre de scénarios d'applications commerciales impliquent aujourd'hui le traitement de documents multilingues. Mistral Large 2 a été formé sur de grandes quantités de données multilingues, notamment en anglais, français, allemand, espagnol, italien, portugais, néerlandais, russe, chinois, japonais, coréen, arabe et hindi.

Voici les résultats de performances de Mistral Large 2 dans le benchmark multilingue MMLU, principalement par rapport au précédent modèle Mistral Large, Llama 3.1 et Command R+ de Cohere :                                                         Langue MMLU performances (mesurées avec un modèle de base pré-entraîné)

Utilisation des outils et appels de fonctions

Mistral Large 2 est équipé de compétences améliorées en matière d'appel et de récupération de fonctions et est formé pour effectuer habilement des appels de fonctions parallèles et séquentiels, ce qui en fait peut être un moteur puissant pour des applications métiers complexes. L'image ci-dessous montre la comparaison de précision du Mistral Large 2 avec d'autres modèles grand public en termes d'appels de fonctions :

Essayez le Mistral Large 2

Les utilisateurs peuvent utiliser le Mistral Large 2 sur la Plateforme, nommé mistral-large -2407 et testé sur le Chat. Sa version est 24.07 (Mistral utilise le système de numérotation de version YY.MM pour tous les modèles) et le nom de l'API est mistral-large-2407.

Les poids pour le modèle d'instruction sont fournis, hébergés sur HuggingFace.

Lien Poids : https://huggingface.co/mistralai/Mistral-Large-Instruct-2407

Mistral AI intègre les produits de la Plateforme en deux modèles généraux :

Mistral Nemo et Mistral Large, ainsi que deux Modèles professionnels : Codestral et Embed. À mesure qu'ils suppriment progressivement les anciens modèles à la Plateforme, tous les modèles Apache (y compris Mistral 7B, Mixtral 8x7B et 8x22B, Codestral Mamba, Mathstral) peuvent toujours être déployés et déployés à l'aide des SDK de Mistral AI - mistral-inference et mistral-finetune Finetune.

À partir d'aujourd'hui, ils ont étendu les fonctionnalités de mise au point à la Plateforme : ils travaillent désormais sur Mistral Large, Mistral Nemo et Codestral. De plus, Mistral AI coopère avec des fournisseurs de services cloud, et Mistral Large 2 sera bientôt disponible sur ces plateformes. Mistral AI a étendu son partenariat avec Google Cloud Platform pour intégrer les modèles de Mistral AI à Vertex AI via l'API gérée. En attendant, il est également disponible sur Amazon Bedrock, Azure AI Studio et IBM watsonx.ai.

Lien de référence :

https://mistral.ai/news/mistral-large-2407/

https://venturebeat.com/ai/mistral- chocs-avec-nouveau-modèle-ouvert-mistral-large-2-taking-on-llama-3-1/

https://techcrunch.com/2024/07/24/mistral-releases- large-2-meta-openai-ai-models/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!