Découvrez en ligne le moment de diffusion stable du grand modèle de langage StableLM à 7 milliards de paramètres

Dans la grande guerre des modèles de langage, Stability AI a également pris fin.

Récemment, Stability AI a annoncé le lancement de son premier grand modèle de langage, StableLM. Important : il est open source et disponible sur GitHub.

Le modèle commence avec les paramètres 3B et 7B, et sera suivi de versions de 15B à 65B.

Et Stability AI a également publié le modèle de réglage fin RLHF pour la recherche.

Adresse du projet : https://github.com/Stability-AI/StableLM/

Bien qu'OpenAI ne soit pas ouvert, la communauté open source est déjà florissante. Dans le passé, nous avions Open Assistant et Dolly 2.0, et maintenant nous avons StableLM.

Expérience de test réelle

Maintenant, nous pouvons essayer la démo du modèle de chat affiné StableLM sur Hugging Face.

Vous saurez exactement jusqu'où StableLM peut y parvenir en un coup d'œil.

Par exemple, vous pouvez lui demander comment faire un sandwich au beurre de cacahuète, et il vous donnera une recette compliquée, un peu ridicule.

Ou écrivez un duel de rap épique entre réseau de neurones et intelligence artificielle symbolique :

Ou écrivez un "e-mail de message de bon augure" (génération de texte) :

et , utilisez le langage C pour calculer le sens de la vie (génération de code) :

Cependant, un journaliste d'un média étranger a personnellement testé StableLM et a constaté que : en termes d'absurdités sérieuses, il est comparé à son prédécesseur ChatGPT , sans parler de céder trop.

Par exemple, si vous lui demandez, que s'est-il passé le 6 janvier 2021 ? Il vous le dira : les partisans de Trump contrôlent l’Assemblée législative.

Si l'utilisation principale prévue de Stable LM n'est pas la génération de texte, que peut-il faire ?

Si vous lui posez vous-même cette question, il dira quelque chose comme ceci : "Il est principalement utilisé comme système d'aide à la décision dans l'ingénierie et l'architecture des systèmes, et peut également être utilisé dans l'apprentissage statistique, l'apprentissage par renforcement et d'autres domaines. "

De plus, Stable LM manque apparemment de protection pour certains contenus sensibles. Par exemple, donnez-lui le fameux test « Ne louez pas Hitler », et sa réponse est également surprenante.

Cependant, nous ne sommes pas pressés de l'appeler "le pire modèle de langage jamais créé". Après tout, il est open source, donc cette IA boîte noire permet à quiconque de jeter un coup d'œil à l'intérieur de la boîte et de vérifier ce qu'elle contient. est. Les causes potentielles sont à l'origine de ce problème.

StableLM

Stability AI affirme officiellement : la version Alpha de StableLM a 3 milliards et 7 milliards de paramètres, et il y aura des versions ultérieures avec 15 milliards à 65 milliards de paramètres.

StabilityAI a également déclaré avec audace que les développeurs peuvent l'utiliser à leur guise. Tant que vous respectez les conditions applicables, vous pouvez faire ce que vous voulez, qu'il s'agisse d'inspecter, d'appliquer ou d'adapter le modèle de base.

StableLM est puissant. Il peut non seulement générer du texte et du code, mais également fournir une base technique pour les applications en aval. C'est un excellent exemple de la manière dont un modèle petit et efficace peut atteindre des performances suffisamment élevées avec une formation appropriée.

Dans les premières années, Stability AI et le centre de recherche à but non lucratif Eleuther AI ont développé ensemble les premiers modèles de langage. On peut dire que Stability AI a une profonde accumulation.

Comme GPT-J, GPT-NeoX et Pythia, ce sont les produits d'une formation coopérative entre les deux sociétés, et sont formés sur l'ensemble de données open source The Pile.

Les modèles open source suivants, tels que Cerebras-GPT et Dolly-2, sont tous des produits de suivi des trois frères ci-dessus.

De retour à StableLM, il a été formé sur un nouvel ensemble de données construit sur The Pile. Cet ensemble de données contient 1,5 billion de jetons, soit environ 3 fois celui de The Pile. La longueur du contexte du modèle est de 4 096 jetons.

Dans un prochain rapport technique, Stability AI annoncera la taille du modèle et les paramètres d'entraînement.

En guise de preuve de concept, l'équipe a affiné le modèle avec Alpaca de l'Université de Stanford et a utilisé une combinaison de cinq ensembles de données d'agents conversationnels récents : Alpaca de l'Université de Stanford, gpt4all de Nomic-AI, l'ensemble de données ShareGPT52K de RyokoAI, Dolly des laboratoires Databricks et HH d'Anthropic.

Ces modèles seront publiés sous le nom de StableLM-Tuned-Alpha. Bien entendu, ces modèles affinés sont uniquement destinés à des fins de recherche et ne sont pas commerciaux.

Stability AI annoncera également plus de détails sur le nouvel ensemble de données à l'avenir.

Parmi eux, le nouvel ensemble de données est très riche, c'est pourquoi les performances de StableLM sont excellentes. Bien que l’échelle des paramètres soit encore un peu petite à l’heure actuelle (par rapport aux 175 milliards de paramètres de GPT-3).

Stability AI a déclaré que les modèles linguistiques sont au cœur de l'ère numérique et nous espérons que tout le monde pourra avoir son mot à dire sur les modèles linguistiques.

Et la transparence de StableLM. Des fonctionnalités telles que l’accessibilité et le support mettent également en œuvre ce concept.

• La transparence de StableLM :

La meilleure façon d'incarner la transparence est d'être open source. Les développeurs peuvent approfondir le modèle pour vérifier les performances, identifier les risques et développer ensemble des mesures de protection. Les entreprises ou départements dans le besoin peuvent également ajuster le modèle pour répondre à leurs propres besoins.

• Accessibilité de StableLM :

Les utilisateurs quotidiens peuvent exécuter le modèle à tout moment et en tout lieu sur leur appareil local. Les développeurs peuvent appliquer le modèle pour créer et utiliser des applications autonomes compatibles avec le matériel. De cette manière, les bénéfices économiques apportés par l’IA ne seront pas répartis entre quelques entreprises, et les dividendes appartiendront à tous les utilisateurs quotidiens et aux communautés de développeurs.

C'est quelque chose qu'un modèle fermé ne peut pas faire.

• Prise en charge de StableLM :

Stability AI crée des modèles pour prendre en charge les utilisateurs, pas pour les remplacer. En d’autres termes, une IA pratique et facile à utiliser est développée pour aider les gens à gérer leur travail plus efficacement et à accroître leur créativité et leur productivité. Au lieu d’essayer de développer quelque chose d’invincible pour tout remplacer.

Stability AI a déclaré que ces modèles ont été publiés sur GitHub et qu'un rapport technique complet sera publié à l'avenir.

Stability AI a hâte de coopérer avec un large éventail de développeurs et de chercheurs. Dans le même temps, ils ont également déclaré qu'ils lanceraient le plan de crowdsourcing RLHF, ouvriraient la coopération entre assistants et créeraient un ensemble de données open source pour les assistants IA.

L'un des pionniers de l'open source

Le nom Stability AI nous est déjà très familier. C'est l'entreprise à l'origine du célèbre modèle de génération d'images Stable Diffusion.

Maintenant, avec le lancement de StableLM, on peut dire que Stability AI va de plus en plus loin sur la voie de l'utilisation de l'IA au profit de tous. Après tout, l’open source a toujours été leur belle tradition.

En 2022, Stability AI offre à chacun une variété de façons d'utiliser Stable Diffusion, y compris des démos publiques, des versions bêta du logiciel et des téléchargements complets de modèles. Les développeurs peuvent utiliser les modèles à volonté et effectuer diverses intégrations.

En tant que modèle d'image révolutionnaire, Stable Diffusion représente une alternative transparente, ouverte et évolutive à l'IA propriétaire.

Évidemment, Stable Diffusion permet à chacun de voir les différents avantages de l'open source. Bien sûr, il y aura aussi quelques inconvénients inévitables, mais il s'agit sans aucun doute d'un nœud historique significatif.

(Le mois dernier, une fuite "épique" du modèle open source LLaMA de Meta a abouti à une série de "remplacements" de ChatGPT avec des performances époustouflantes. La famille des alpagas est née comme le Big Bang : Alpaca, Vicuna, Koala, ChatLLaMA, FreedomGPT, ColossalChat...)

Cependant, Stability AI a également averti que même si l'ensemble de données qu'il utilise devrait aider à "guider les modèles linguistiques de base vers des distributions de texte plus sécurisées, tous les biais et la toxicité ne peuvent pas être atténués par un réglage fin. "

Controverse : Doit-il être open source ?

Ces jours-ci, nous avons assisté à une explosion des modèles de génération de texte open source, alors que les entreprises, grandes et petites, ont découvert que dans le domaine de plus en plus lucratif de l'IA générative, il vaut mieux devenir célèbre tôt.

Au cours de la dernière année, Meta, Nvidia et des groupes indépendants comme le projet BigScience soutenu par Hugging Face ont tous publié des remplacements pour des modèles d'API « privés » tels que GPT-4 et Claude d'Anthropic.

De nombreux chercheurs ont sévèrement critiqué ces modèles open source similaires à StableLM, car les criminels peuvent les utiliser avec des arrière-pensées, comme créer des e-mails de phishing ou assister des logiciels malveillants.

Mais Stablity AI insiste sur le fait que l'open source est la méthode la plus correcte.

Stability AI a souligné : « Nous rendons nos modèles open source pour accroître la transparence et cultiver la confiance. Les chercheurs peuvent acquérir une compréhension approfondie de ces modèles, vérifier leurs performances, étudier les techniques d'explicabilité, identifier les risques potentiels et "

"Un accès ouvert et précis à nos modèles permet à une large base de chercheurs et d'universitaires de développer des technologies d'explicabilité et de sécurité qui vont au-delà des modèles fermés."

Stablity AI L'argument est valable. sens. Même les meilleurs modèles de l’industrie comme le GPT-4, doté de filtres et d’équipes d’examen humain, ne sont pas à l’abri de la toxicité.

De plus, le modèle open source nécessite évidemment plus d'efforts pour ajuster et réparer le backend - surtout si les développeurs ne suivent pas les dernières mises à jour.

En fait, en regardant l'histoire, Stability AI n'a jamais évité la controverse.

Il y a quelque temps, l'entreprise était sur le point d'être portée en justice pour contrefaçon. Certaines personnes l'accusaient d'utiliser des images protégées par le droit d'auteur récupérées sur Internet pour développer des outils de dessin d'IA, portant ainsi atteinte aux droits de millions d'artistes.

De plus, certaines personnes ayant des arrière-pensées ont utilisé les outils d’IA de Stability pour générer de fausses images pornographiques de nombreuses célébrités, ainsi que des images pleines de violence.

Bien que Stability AI ait souligné son ton charitable dans le billet de blog, Stability AI est également confrontée à la pression de la commercialisation, que ce soit dans les domaines de l'art, de l'animation, de la biomédecine ou de l'audio généré.

Emad Mostaque, PDG de Stability AI, a fait allusion à son intention d'entrer en bourse. Stability AI a été évalué à plus d'un milliard de dollars l'année dernière et a reçu plus de 100 millions de dollars en capital-risque. Cependant, selon le média étranger Semafor, Stability AI "brûle de l'argent, mais progresse lentement pour gagner de l'argent".

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!