Le modèle de code open source Mistral monte sur le trône ! Codestral est fou de formation dans plus de 80 langues, et les développeurs nationaux de Tongyi demandent à participer !

Produit par 51CTO Technology Stack (WeChat ID : blog51cto)

Mistral a publié son premier modèle de code Codestral-22B !

Ce qui est fou avec ce modèle, ce n'est pas seulement qu'il est formé sur plus de 80 langages de programmation, dont Swift, etc., que de nombreux modèles de code ignorent.

Leurs vitesses ne sont pas exactement les mêmes. Il est nécessaire d'écrire un système de « publication/abonnement » en langage Go. Le GPT-4o ici est en cours de sortie, et Codestral remet le papier si vite qu'il est difficile de le voir !

Depuis que ce modèle vient d'être lancé, il n'a pas encore été testé publiquement. Mais selon le responsable de Mistral, Codestral est actuellement le modèle de code open source le plus performant.

Photos

Les amis intéressés peuvent se déplacer vers :

-Hugging Face : https://huggingface.co/mistralai/Codestral-22B-v0.1

-Blog : https:// mistral.ai/news/codestral/

À en juger par le blog, Codestral a surpassé ses adversaires dans les tests de performances en texte long et dans plusieurs langages de programmation, dont 70B CodeLlama, 33B Deepseek Coder et 70B Llama 3 70B.

Photos

Regardons de plus près le « roi » du modèle de code et les points forts de Codestral.

1. Codestral établit une nouvelle norme pour les modèles de code

En tant que modèle 22B, Codestral établit une nouvelle norme pour l'espace performance/latence de la génération de code. À la base, Codestral 22B présente une longueur de contexte de 32 Ko, offrant aux développeurs la possibilité d'écrire et d'interagir avec du code dans une variété d'environnements de programmation et de projets.

Image

Ci-dessus : Avec une fenêtre contextuelle plus grande de 32k (par opposition aux 4k, 8k ou 16k des concurrents), Codestral surpasse tous les autres modèles dans RepoBench, une évaluation à distance de la génération de code.

Codestral est incroyablement formé sur des ensembles de données provenant de plus de 80 langages de programmation, ce qui le rend adapté à une variété de tâches de programmation, notamment la génération de code à partir de zéro, l'exécution de fonctions de codage, l'écriture de tests et la finition avec des mécanismes de remplissage intermédiaires. Toute partie du code .

Les langages de programmation qu'il couvre incluent les populaires SQL, Python, Java, C et C++, ainsi que Swift et Fortran plus spécifiques, etc., devenant ainsi un généraliste dans le monde de la programmation.

Mistral a déclaré que Codestral peut aider les développeurs à améliorer leurs compétences en codage, à accélérer le flux de travail et à économiser beaucoup de temps et d'efforts lors de la création d'applications. Sans oublier que cela peut également contribuer à réduire le risque d’erreurs et de vulnérabilités.

Ci-dessus : évaluation HumanEval des performances de Codestral sur différents langages de programmation

Lors de l'évaluation de la génération de code Python sur HumanEval et CruxEval testant la prédiction de sortie Python, le modèle a obtenu respectivement 81,1 % et 51,3 % de surperformance par rapport à la concurrence. . Il a même obtenu la première place dans HumanEval pour Bash, Java et PHP.

Il convient de noter que les performances du modèle sur HumanEval pour C++, C et Typescript ne sont pas les meilleures, mais le score moyen de tous les tests est le plus élevé à 61,5 %, légèrement supérieur aux 61,2 % de Llama 3 70B. Dans l'évaluation Spider, qui évalue les performances SQL, il s'est classé deuxième avec un score de 63,5 %.

Certains outils populaires de productivité des développeurs et de développement d'applications d'IA ont commencé à tester Codestral. Cela inclut de grands noms comme LlamaIndex, LangChain, Continue.dev, Tabnine et JetBrains.

"D'après nos tests initiaux, c'est un bon choix pour les flux de travail de code génératif car il est rapide, possède une fenêtre de contexte favorable et guide l'utilisation de l'outil de support de version. Nous avons utilisé LangGraph pour la génération de code auto-correctif de tests, en utilisant l'outil Codestral guidé à utiliser pour la sortie, et il a très bien fonctionné dès le départ », a déclaré Harrison Chase, PDG et co-fondateur de LangChain.

De plus, Codestral a coopéré avec plusieurs partenaires industriels, notamment JetBrains, SourceGraph et LlamaIndex. Jerry Liu, PDG de LlamaIndex, a déclaré à propos de ses tests sur Codestral : « Jusqu'à présent, il a toujours produit un code très précis et utilisable, même pour des tâches complexes. Par exemple, lorsque je lui ai demandé d'accomplir une tâche de création d'un nouveau When LlamaIndex interroge les fonctions non fastidieuses du moteur, le code qu'il génère fonctionne de manière transparente bien qu'il soit basé sur une base de code plus ancienne."

2. Comment démarrer avec Codestral ?

Mistral propose Codestral 22B sur Hugging Face sous sa propre licence non commerciale, permettant aux développeurs d'utiliser la technologie à des fins non commerciales, de tester et de soutenir les efforts de recherche.

La société propose également le modèle via deux points de terminaison API : codestral.mistral.ai et api.mistral.ai.

Le premier est conçu pour les utilisateurs qui souhaitent utiliser l'itinéraire guidé ou intermédiaire de Codestral à l'intérieur de l'IDE. Il est livré avec une clé API de niveau personnel, sans les limites tarifaires organisationnelles habituelles, et son utilisation est gratuite pendant une période de test de huit semaines. Bien que api.mistral.ai soit le point de terminaison général pour des recherches plus larges, des requêtes par lots ou le développement d'applications tierces, les requêtes seront facturées par jeton.

Ce qui est plus intéressant, c'est que Mistral a sorti une version guidée de Codestral sur Le Chat, permettant d'accéder à Codestral via leur interface conversationnelle gratuite Le Chat. Les développeurs peuvent interagir avec Codestral de manière naturelle et intuitive, tirant pleinement parti des capacités du modèle.

3. Écrit à la fin

Il existe également des modèles de code avec des performances étonnantes parmi les grands modèles nationaux, comme le grand modèle à 7 milliards de paramètres CodeQwen1.5-7B qu'Alibaba a open source il n'y a pas si longtemps.

Dans le test HumanEval, le score de la version CodeQwen1.5-7B-Chat dépassait même la première version de GPT-4 et était légèrement inférieur à celui de GPT-4-Turbo (version de novembre 2023).

Photos

Le développeur de CodeQwen, Binyuan Hui, n'a pas oublié de rappeler Lian Guillaume Lample de Mistral en le félicitant d'amener Tongyi pour l'évaluer ensemble !

Photos

On estime que nous verrons bientôt CodeQwen1.5-7B et Codestral s'affronter dans l'arène.

Pour en savoir plus sur l'AIGC, veuillez visiter :

Communauté 51CTO AI.x

https://www.51cto.com/aigc/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!