16 milliards de paramètres, de multiples nouvelles fonctionnalités, Fudan MOSS est open source

En février de cette année, Machine Heart a annoncé que l'Université de Fudan avait lancé la version chinoise de ChatGPT (voir "Fudan lance la version chinoise de ChatGPT : MOSS commence les tests et lance des recherches rapides, les serveurs sont bondés"), ce qui a attiré une large attention. . À cette époque, le professeur Qiu Xipeng avait déclaré que Moss serait open source en avril.

Hier, la version open source de Moss est vraiment arrivée.

Adresse du projet : https://github.com/OpenLMLab/MOSS

MOSS est un modèle de langage de conversation open source qui prend en charge le bilinguisme chinois et anglais et plusieurs plug-ins, mais en a moins paramètres que ChatGPT Beaucoup plus. Après la version 0.0.2, l'équipe a continué à l'ajuster et a lancé MOSS v0.0.3, qui est la version open source actuelle. Par rapport aux versions précédentes, les fonctions ont également été mises à jour de plusieurs manières.

Dans le test initial, les fonctions de base de MOSS sont similaires à celles de ChatGPT. Il peut effectuer diverses tâches de traitement du langage naturel selon les instructions saisies par l'utilisateur, notamment la génération de texte, le résumé de texte, la traduction, la génération de code, le chat, etc.

Après avoir ouvert le test interne, l'équipe a continué à augmenter la pré-formation du corpus chinois : « Jusqu'à présent, le modèle linguistique de base de MOSS 003 a été formé sur 100 milliards de jetons chinois, et le nombre total de jetons de formation a été a atteint 700 B, qui comprend également environ 300 B de code. "

Après la version bêta ouverte, nous avons également collecté des données sur les utilisateurs. Nous avons constaté qu'il existe une grande différence entre l'intention de l'utilisateur dans le monde chinois réel et la distribution des invites de l'utilisateur divulguée. dans le document OpenAI InstructGPT (cela n'est pas seulement lié à l'origine de l'utilisateur) Cela est lié aux différences nationales et au moment où le produit a été lancé (il y a beaucoup d'entrées contradictoires et de tests dans les données collectées par les premiers produits), donc. nous avons utilisé cette partie des données réelles comme graine pour régénérer environ 1,1 million de données de conversations régulières, couvrant des données d'utilité granulaires plus détaillées et des données d'innocuité plus larges.

Source de contenu : https://www.zhihu.com/question/596908242/answer/2994534005

Actuellement, l'équipe a moss-moon-003-base, moss-moon-003-sft, moss-moon-003-sft-plugin Trois modèles sont téléchargés sur HuggingFace. À l'avenir, trois autres modèles seront open source.

Selon la page d'accueil du projet, le modèle de la série Moss-moon possède 16 milliards de paramètres. Il peut fonctionner sur un seul A100/A800 ou deux cartes graphiques 3090 avec une précision FP16, et peut fonctionner sur un seul A100/. A800 ou deux cartes graphiques 3090 avec une précision INT4/8.

L'équipe a également déclaré qu'en raison du petit nombre de paramètres du modèle et du paradigme de génération autorégressive, MOSS peut toujours générer des réponses trompeuses contenant des erreurs factuelles ou du contenu préjudiciable contenant des préjugés/discrimination. par MOSS, veuillez ne pas diffuser sur Internet le contenu nuisible généré par MOSS.

Nouvelles capacités

Dans MOSS v0.0.3, l'équipe a ajouté un certain nombre de nouvelles fonctionnalités.

L'équipe a construit environ 300 000 données de conversation améliorées par des plug-ins, notamment des moteurs de recherche, des diagrammes de Vincent, des calculatrices, des solveurs d'équations, etc. Concernant la façon d'utiliser la version plug-in de MOSS, l'équipe suivante l'annoncera sur GitHub.

MOSS v0.0.3 introduit désormais la possibilité d'utiliser plusieurs plugins. L'image ci-dessous démontre la possibilité d'invoquer un moteur de recherche : générer des images à partir du texte :

L'auteur du projet, Sun Tianxiang, a ajouté que la capacité de MOSS 003 à prendre en charge l'activation du plug-in est contrôlée via une méta-instruction, similaire à l'invite système dans gpt-3.5-turbo. "Parce qu'il est contrôlé par le modèle, il ne peut pas garantir un taux de contrôle à 100 %, et il existe encore des défauts tels que des appels inexacts de plug-ins multi-sélectionnés et des plug-ins en conflit les uns avec les autres. Nous développons de nouveaux modèles dès que possible. comme possible pour atténuer ces problèmes. "

Téléchargez et installez

Délisez le contenu de cet entrepôt sur le serveur local / distant:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

Create Conda Environnement:

conda create --name moss pythnotallow=3.8
conda activate moss

installation Dépendances:

pip install -r requirements.txt

Il n'est pas recommandé que les versions torche et transformateurs soient inférieures aux versions recommandées.

Selon l'accord, MOSS open source peut être utilisé à des fins commerciales :

De plus, les développeurs peuvent également appeler les services MOSS via des API. L'équipe envisagera de fournir des services via des interfaces API et des formats d'interface. en fonction de la pression de service actuelle, veuillez vous référer à : https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

Actuellement, certains développeurs créent sur la base de contenu open source, tel que des questions-réponses vidéo. via le chat vidéo.

VideoChat est un outil vidéo de questions et réponses multifonctionnel qui combine les fonctions de reconnaissance de mouvement, de sous-titres visuels et de StableLM. L'outil génère des sous-titres denses et descriptifs pour tout objet et action dans une vidéo, offrant une gamme de styles de langage adaptés aux différentes préférences de l'utilisateur. Il aide les utilisateurs à avoir des conversations de durées, d'ambiances et d'authenticité linguistique variables.

Adresse du projet : https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!