Nvidia, Hugging Face et ServiceNow lancent le nouveau LLM StarCoder2 pour la génération de code

Actuellement disponibles en trois tailles différentes, ces modèles ont été formés sur plus de 600 langages de programmation, y compris des langages à faibles ressources, pour aider les entreprises à accélérer diverses tâches liées au code dans leurs flux de travail de développement. Ils sont développés sous licence ouverte. Projet BigCode, une initiative conjointe de ServiceNow et Huging Face pour garantir le développement et l'utilisation responsables de grands modèles de langage de code, et ils sont disponibles gratuitement sous la licence ouverte Responsible AI.

Le lancement de StarCoder2 confirme l'énorme pouvoir qui peut découler d'une collaboration scientifique ouverte et de pratiques d'IA responsables combinées à une chaîne d'approvisionnement de données éthique. Harm de Vries, responsable de l'équipe de développement StarCoder2 chez ServiceNow et co-responsable de BigCode, a souligné dans un communiqué que le nouveau modèle d'accès ouvert améliore non seulement les performances précédentes de GenAI, mais améliore également la productivité des développeurs et les rend plus accessibles. avantages de l’IA de génération de code, permettant aux entreprises de toute taille de réaliser plus facilement leur plein potentiel commercial.

StarCoder2 : Trois modèles pour répondre à trois besoins différents

Le dernier produit de BigCode n'est pas seulement une mise à niveau de StarCoder LLM, il introduit trois modèles de tailles différentes : 3B, 7B et 15B, et étend les langages de programmation pris en charge. A atteint 619 espèces. Dans la nouvelle génération de produits, la quantité de données d'entraînement pour le modèle appelé Stack a été multipliée par près de sept par rapport au modèle précédent. Cela signifie que BigCode évolue constamment pour fournir aux développeurs des outils et des ressources plus puissants et plus complets pour les aider à réussir dans diverses tâches de programmation. Cet esprit d'innovation et cette attitude d'amélioration continue ont fait de BigCode la plateforme de choix sur laquelle les développeurs font confiance et sur laquelle ils s'appuient, leur offrant un plus large éventail d'opportunités d'apprentissage et d'application. Le développement de BigCode démontre un investissement et une concentration continus dans le domaine de la technologie et de la programmation, apportant de nouvelles possibilités et opportunités à l'ensemble du secteur.

La communauté BigCode utilise la technologie de formation de dernière génération pour garantir que les modèles peuvent comprendre et générer des langages de programmation à faibles ressources tels que COBOL, les mathématiques et le code source des programmes. Cette approche est essentielle pour aider les utilisateurs à mieux comprendre les divers langages de programmation et les discussions sur le code.

Le modèle à 3 milliards de paramètres a été formé à l'aide du framework Fast LLM de ServiceNow, tandis que le modèle 7B a été développé sur la base du framework Nantron de Hugging Face. Les deux modèles sont conçus pour offrir des performances élevées en matière de génération de texte vers code et de texte vers flux de travail tout en nécessitant moins de ressources informatiques.

Dans le même temps, le plus grand modèle de 15 milliards de paramètres a été formé et optimisé à l'aide du framework cloud natif NVIDIA Nemo de bout en bout et du logiciel NVIDIA TensorRT-LLM.

Bien qu'il reste à voir comment ces modèles fonctionnent dans différents scénarios d'encodage, les sociétés notent que le plus petit modèle 3B fonctionne à égalité avec le StarCoder LLM 15B d'origine.

En fonction de leurs besoins, les équipes d'entreprise peuvent utiliser n'importe lequel de ces modèles et l'affiner davantage en fonction des données de l'entreprise pour différents cas d'utilisation, qui peuvent être n'importe quelle tâche spéciale, de la génération de code source d'application, à la génération de flux de travail et à la synthèse de texte jusqu'au code. complétion, résumé avancé du code et récupération d'extraits de code.

Les entreprises ont souligné que ces modèles sont formés de manière plus approfondie et plus approfondie pour fournir des prédictions plus contextuelles et plus précises. Ce modèle hautement qualifié est capable de mieux comprendre le contexte du référentiel. En fin de compte, ces efforts ouvrent la voie à une accélération des efforts de développement, permettant aux ingénieurs et aux développeurs de concentrer davantage d’énergie sur des tâches plus critiques.

Jonathan Cohen, vice-président de la recherche appliquée chez NVIDIA, a déclaré dans un communiqué de presse : "Parce que chaque écosystème logiciel possède un langage de programmation propriétaire, Code LLM peut conduire à des avancées en matière d'efficacité et d'innovation dans chaque secteur." avec ServiceNow et Huging Face introduit un modèle de développement sûr et responsable et soutient un accès plus large à une GenAI responsable, qui, nous l'espérons, profitera à la communauté mondiale », a-t-il ajouté.

Comment commencer à utiliser StarCoder2 ?

Comme mentionné précédemment, tous les modèles de la série StarCoder2 sont fournis sous la licence Open Rail-M et peuvent être consultés et utilisés sans droits d'auteur. Le code de support peut être trouvé dans le référentiel GitHub du projet BigCode. Comme alternative, les équipes peuvent également télécharger et utiliser les trois modèles de Hugging Face.

Cela dit, 15 milliards de modèles formés par NVIDIA seront également disponibles sur NVIDIA AI Foundation, permettant aux développeurs d'expérimenter directement depuis leur navigateur ou via des points de terminaison d'API.

Bien que StarCoder ne soit pas le premier entrant dans le domaine de la génération de code basée sur l'IA, le large éventail d'options apportées par la dernière génération du projet permettra certainement aux entreprises de tirer parti du LLMS dans le développement d'applications tout en économisant sur les calculs.

D'autres acteurs notables dans le domaine incluent OpenAI, qui propose Codex, qui alimente le service pilote de la fédération GitHub, et Amazon, qui propose l'outil CodeWhisper, ainsi que la concurrence féroce de Replit et Codenium, Replit en ayant plusieurs sur Hugging Face. Codenium, un petit modèle de codage d'IA, a récemment levé 65 millions de dollars en financement de série B pour une valorisation de 500 millions de dollars.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!