Les nouveaux grands modèles de la série Kunlun Wanwei « Tiangong » 13B peuvent être facilement commercialisés sans aucun seuil.

Le 30 octobre, Kunlun Wanwei a annoncé l'open source de la série Skywork-13B de Skywork-13B, un grand modèle de langage de dizaines de milliards, et un open source rare de 600GB, 150B Tokens Un très grand ensemble de données chinoises open source de haute qualité.

La série Kunlun Wanwei Skywork-13B comprend actuellement deux modèles majeurs avec 13 milliards de paramètres : Skywork-13B-Basemodel, Skywork-13B-Mathmodel, ils font l'objet de nombreuses évaluations faisant autorité et des tests de référence, tels que CEVAL et GSM8K, ont montré les meilleurs résultats de modèles de même taille. Ses capacités chinoisessont particulièrement remarquables et ses performances dans la technologie, la finance, les affaires gouvernementales chinoises et dans d'autres domaines sont supérieures à celles des autres domaines. modèles open source.

L'adresse de téléchargement de Skywork-13B (Model Scope) est disponible sur : https://modelscope.cn/organization/skywork

L'adresse de téléchargement de Skywork-13B (Github) : https://github.com/SkyworkAI /Skywork

En plus du modèle open source, la série Skywork-13B de grands modèles sera également open source 600 Go, 150B Tokensensemble de données de corpus chinois de haute qualité Skypile/Chinese-Web-Text- 150B, il s'agit actuellement de l'un des plus grands ensembles de données chinois open source.

Dans le même temps, la série de grands modèles Skywork-13B de Kunlun Wanwei sera bientôt entièrement ouverte à un usage commercial——Les développeurs n'ont pas besoin de postuler, ils peuvent être utilisés commercialement. 13 milliards de paramètres, deux modèles majeurs, l'un des plus grands ensembles de données chinois, entièrement ouvert à une utilisation commerciale. La série de grands modèles « Skywork »

Skywork-13B de Kunlun Wanwei peut être qualifiée de modèles commerciaux open source de haute qualité les plus complets de l'industrie, valant des dizaines de milliards. L'open source de la série de grands modèles Skywork-13B fournira le meilleur support technique pour l'application de grands modèles et le développement de la communauté open source, réduisant le seuil commercial des grands modèles, favorisant la mise en œuvre de l'intelligence artificielle technologie dans diverses industries et contribuer à la construction de l'écosystème de l'intelligence artificielle. Nous travaillerons avec la communauté open source pour explorer le monde inconnu et créer un avenir meilleur La série Skywork-13B de Kunlun Wanwei comprend deux modèles majeurs et un 150B. ensemble de données chinoises de haute qualité.

Skywork-13B-BaseLe modèle est le modèle de base de Skywork-13B. Il est formé avec 3,2 billions de données multilingues de haute qualité et a démontré des performances égales dans CEVAL, CMMLU, MMLU, GSM8K et d'autres évaluations. et tests de référence. Meilleurs résultats pour les modèles réduits. Skywork-13B-MathLe modèle a suivi une formation spécialisée améliorée pour améliorer les capacités mathématiques et a obtenu les meilleurs résultats des modèles de même taille sur des ensembles de données tels que GSM8K.

Skypile/Chinese-Web-Text-150B

ensemble de données. Cet ensemble de données est constitué de données de haute qualité filtrées à partir de pages Web chinoises selon notre processus de traitement de données soigneusement filtré.

La taille de cet ensemble de données open source est d'environ
• 600 Go
, et le nombre total de
• token
est d'environ (
• 1500 milliards). Il s'agit actuellement de l'un des plus grands ensembles de données open source chinois. . De plus, la série Skywork-13B divulgue également les méthodes d'évaluation, la recherche sur les ratios de données et les plans d'optimisation de l'infrastructure de formation utilisés dans le modèle. On espère que ces contenus open source pourront inspirer davantage la compréhension de la communauté à grande échelle. pré-formation de modèles réduits et promouvoir la réalisation de l'intelligence générale artificielle (AGI). Cinq caractéristiques majeures Surpassent complètement
Les grands modèles de la série Kunlun Wanwei "Tiangong" Skywork-13B sont utilisés dans CEVAL, GSM8K, etc. Des évaluations faisant autorité et des tests de référence ont montré les meilleurs résultats de modèles de même échelle. Sa capacité chinoise est particulièrement remarquable, et ses performances dans les domaines de la technologie, de la finance, des affaires gouvernementales et autres domaines chinois sont supérieures à celles des autres modèles open source.

Cinq caractéristiques des modèles de la série Skywork-13B :

Performance des paramètres la plus forte : surpassant largement les grands modèles de la même échelle Ce modèle open source de la série Skywork-13B a ​​de fortes performances dans CEVAL, CMMLU, MMLU, GSM8K et d'autres références d'évaluation majeures faisant autorité, il surpasse largement les grands modèles open source tels que LLaMA2-13B et obtient les meilleurs résultats parmi les grands modèles de la même échelle. (Données au 25 octobre)

Données d'entraînement maximales : 3.2TDonnées d'entraînement multilingues de haute qualité

Les grands modèles de la série Skywork-13B ont 13 milliards de paramètres et 3,2 billions de multilingues de haute qualité données de formation. La capacité de génération, la capacité créative et la capacité de raisonnement mathématique du modèle ont été considérablement améliorées.

La plus forte capacité de modélisation de la langue chinoise : évaluation de la perplexité de la modélisation de la langue chinoise, surpassant tous les modèles open source chinois

Les grands modèles de la série Skywork-13B sont excellents dans la modélisation de la langue chinoise et ont d'excellentes capacités de création culturelle chinoise. Lors de l'évaluation dans le domaine de la création de textes chinois, les grands modèles de la série Skywork-13B ont démontré des capacités exceptionnelles, notamment dans les domaines de la technologie, de la finance, des affaires gouvernementales, des services aux entreprises, de la création culturelle, des jeux, etc., et leurs performances sont mieux que les autres modèles open source

La figure montre la perplexité du modèle d'évaluation sous les données dans différents domaines. Plus la valeur est faible, plus la capacité de modélisation du modèle dans ce domaine est forte. Les résultats montrent que Tiangong 13B fonctionne bien dans les articles techniques, les films, les rapports gouvernementaux, les jeux, la finance et les domaines généraux.

L'un des plus grands ensembles de données open source chinois : 150B TokensCorpus chinois de haute qualité.

Skywork - La série 13B sera équipée de l'ensemble de données de corpus chinois open source de haute qualité Skypile/Chinese-Web-Text-150B de 600 Go et 150 milliards de jetons, qui est actuellement l'un des plus grands ensembles de données chinois open source. Les développeurs peuvent s'appuyer au maximum sur le processus de pré-formation des grands modèles et sur leur expérience dans le rapport technique, personnaliser en profondeur les paramètres du modèle et effectuer une formation et une optimisation ciblées.

L'utilisation commerciale open source la plus sincère : pas besoin de postuler, vous pouvez obtenir une utilisation commerciale

Actuellement, dans la communauté open source, la plupart des modèles chinois ne sont pas entièrement disponibles pour une utilisation commerciale. Normalement, les utilisateurs de la communauté open source doivent passer par un processus fastidieux de demande de licence commerciale. Dans certains cas, la délivrance de licences commerciales sera clairement stipulée par la taille de l'entreprise, le secteur d'activité, le nombre d'utilisateurs, etc., et aucune autorisation n'est autorisée

Kunlun Wanwei attache une grande importance à l'ouverture et à la disponibilité commerciale du Skywork-. Série 13B d'open source, pour simplifier le processus d'autorisation et supprimer les restrictions sur le secteur, la taille de l'entreprise, les utilisateurs, etc., dans le but d'aider davantage d'utilisateurs et d'entreprises intéressés par les grands modèles chinois à continuer à explorer et à progresser dans l'industrie.

Les modèles à grande échelle de la série Skywork-13B sont désormais entièrement sous licence pour un usage commercial. Les utilisateurs doivent simplement télécharger le modèle et accepter et respecter le « Contrat de licence communautaire du modèle Skywork » et peuvent utiliser des modèles à grande échelle à des fins commerciales. sans demander à nouveau une autorisation. Nous espérons que les utilisateurs pourront explorer plus facilement les capacités techniques de la série de modèles à grande échelle Skywork-13B et explorer les applications commerciales dans différents scénarios

Promouvoir la prospérité de l'écosystème open source et permettre à davantage de développeurs de participer à la technologie de AIGC Lors du développement, nous favorisons l'amélioration technologique par la co-création et le partage.

À l'ère de l'IA, la construction écologique open source est en plein essor et est devenue un maillon important dans la réalisation de l'intégration de l'IA et des applications. En abaissant le seuil des coûts de développement et d’utilisation des modèles et en maximisant le partage des capacités techniques et de l’expérience, davantage d’entreprises et de développeurs pourront participer à ce changement technologique mené par l’IA. Fang Han, président-directeur général de Kunlun Wanwei, est l'un des premiers experts open source senior à participer à la construction de l'écosystème open source, et est également l'un des pionniers de l'open source Linux chinois. L'esprit open source et le développement de la technologie AIGC seront parfaitement intégrés dans la stratégie de Kunlun Wanwei

Tout en AGI et AIGC

La stratégie de Kunlun Wanwei comprend une coopération avec AGI et AIGC

17 avril, Kunlun Wanwei a publié Le premier modèle linguistique national à grande échelle de la Chine qui réalise véritablement l'émergence du renseignement - "Tiangong 3.5" et a lancé des tests sur invitation.

Le 19 mai, le Bureau municipal de l'économie et des technologies de l'information de Pékin a annoncé le premier lot de « Liste des membres du Programme général de partenariat pour l'innovation dans l'industrie de l'intelligence artificielle de Pékin ». Kunlun Wanwei est devenu le premier groupe de partenaires modèles et de partenaires d'investissement grâce à sa configuration d'exploration et d'investissement de pointe dans le domaine AIGC.

Le 23 août, Kunlun Technology a lancé le premier produit de recherche d'IA en Chine, appelé Tiangong AI Search

Le 1er septembre, le professeur Yan Shuicheng, un expert international de premier plan dans le domaine de la vision par ordinateur et de l'apprentissage automatique, a officiellement rejoint Kunlun Technology, avec Zhou Yahui, le fondateur de Kunlun Technology, a été co-PDG de Tiangong Intelligence et a été simultanément directeur du Kunlun Technology 2050 Global Research Institute, responsable de la recherche sur les technologies de pointe.

Dans l'évaluation multimodale du grand modèle de langage menée par Tencent Youtu Lab et l'Université de Xiamen, Kunlun Wanwei Tiangong Large Model a obtenu le premier score complet le 5 septembre

25 septembre, Kunlun Wanwei contrôle officiellement Aijie Core et présente les puces IA.

Aujourd'hui, le groupe Kunlun Wanwei a démontré sa ferme détermination à continuer d'investir dans l'écosystème de l'intelligence artificielle à travers l'action open source de la série de grands modèles Skywork-13B. En 2015, la société a été cotée à la Bourse de Shenzhen. Elle a débuté dans le domaine du jeu et est aujourd'hui devenue une entreprise intégrant des activités diversifiées telles que AII In AGI et AIGC. Après plus de dix ans de développement, Kunlun Wanwei s'est engagé à fournir des produits et services Internet de premier plan aux utilisateurs du monde entier. Actuellement, l’entreprise explore activement les possibilités infinies dans le domaine de l’intelligence artificielle. Aujourd'hui, Kunlun Technology a progressivement construit trois secteurs d'activité majeurs : AGI et AIGC, la distribution d'informations à l'étranger et Metaverse, et l'investissement. Son activité couvre plus de 100 pays et régions à travers le monde, et le nombre mensuel moyen d'utilisateurs actifs est proche de 400 millions.

Grâce à sa prévision avancée des tendances de développement technologique, Kunlun Technology a commencé à déployer le domaine AIGC dès 2020. Jusqu'à présent, il a accumulé près de trois ans d'expérience pertinente en recherche et développement en ingénierie et a établi des capacités de traitement approfondies de pointe pour les données de pré-formation. Il a également réalisé des percées majeures dans le domaine de l'intelligence artificielle. Grands modèles d'IA, recherche d'IA, IA Avec six matrices commerciales majeures d'IA : jeux, musique d'IA, animation d'IA et réseaux sociaux d'IA, c'est l'une des entreprises nationales dotées des technologies de modèles et des capacités d'ingénierie les plus solides, de la mise en page la plus complète et est pleinement engagé dans la construction de communautés open source.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!