ChatGLM, le modèle de dialogue de base Gigabit basé sur Tsinghua, a lancé des tests internes et est une version open source à carte unique du modèle.

La sortie de ChatGPT a bouleversé l'ensemble du domaine de l'IA, et les grandes entreprises technologiques, les startups et les équipes universitaires emboîtent le pas. Récemment, Heart of the Machine a rendu compte des résultats de recherche de nombreuses startups et équipes universitaires.

Hier, un autre modèle de dialogue national à grande échelle sur l'IA a fait ses débuts : ChatGLM, l'IA à spectre intelligent de l'entreprise transformée à partir des réalisations technologiques de Tsinghua et basée sur le modèle de base GLM-130B de 100 milliards, est désormais ouverte sur invitation uniquement. tests internes.

Il convient de mentionner que Zhipu AI a également open source le modèle de dialogue bilingue chinois-anglais ChatGLM-6B, qui prend en charge l'inférence sur une seule carte graphique grand public.

Site Web de l'application bêta interne : chatglm.cn

Il est entendu que l'amélioration des capacités de la version actuelle de ChatGLM provient principalement du modèle de base unique de 100 milliards GLM-130B . C'est une architecture différente de BERT, GPT-3 et T5. C'est un modèle de pré-entraînement autorégressif contenant des fonctions multi-objectifs.

En août 2022, l'Université Tsinghua et Zhipu AI ont ouvert le modèle dense bilingue chinois-anglais GLM-130B avec 130 milliards de paramètres à la communauté de recherche et à l'industrie. Ce modèle présente des avantages uniques :

• Bilingue : prend en charge. chinois et anglais ;
• Haute précision (anglais) : meilleure que GPT-3 175B sur les listes publiques de langage naturel anglais LAMBADA, MMLU et Big-bench-lite (API : davinci, modèle de base), OPT-175B et BLOOM-176B ;
• Haute précision (chinois) : nettement meilleure que ERNIE TITAN 3.0 260B et YUAN 1.0-245B sur 7 ensembles de données CLUE à échantillon nul et 5 ensembles de données FewCLUE à échantillon nul
• Inférence rapide : Le premier modèle de 100 milliards à implémenter la quantification INT4, prenant en charge une inférence rapide et pratiquement sans perte avec un serveur 3090 à 4 cartes ou 2080Ti à 8 cartes 
• Reproductibilité : tous les résultats (plus de 30 par tâche) peuvent être reproduits via notre système ouvert ; code source et paramètres du modèle ;
• Multiplateforme : prend en charge la formation et l'inférence sur les processeurs Haiguang DCU nationaux, Huawei Ascend 910 et Sunway et les puces NVIDIA américaines.

Maintenant, en se référant aux idées de conception de ChatGPT, ChatGLM a injecté une pré-formation de code dans le modèle de base du GLM-130B pour parvenir à l'alignement des intentions humaines grâce à des technologies telles que le réglage fin supervisé.

Heart of the Machine a obtenu le code d'invitation pour la bêta fermée Voici une simple conversation avec ChatGLM, l'effet est le suivant :

Il peut comprendre le sens réel de "Station. CP":

Give ChatGLM Essayez un problème mathématique :

Depuis l'apprentissage de l'équation linéaire de deux variables, les problèmes de base "poulet et lapin dans la même cage" comme celui-ci ne peuvent plus le déranger :

Open Source ChatGLM-6B

ChatGLM-6B est un modèle de langage de dialogue open source qui prend en charge les questions et réponses bilingues en chinois et en anglais et est optimisé pour le chinois. Le modèle est basé sur l'architecture General Language Model (GLM) et comporte 6,2 milliards de paramètres. Combiné à la technologie de quantification de modèle, les utilisateurs peuvent le déployer localement sur des cartes graphiques grand public (un minimum de 6 Go de mémoire vidéo est requis au niveau de quantification INT4). ChatGLM-6B utilise la même technologie que ChatGLM et est optimisé pour les questions et réponses et le dialogue en chinois. Après une formation bilingue en chinois et en anglais avec environ 1T d'identifiants, complétée par un réglage fin supervisé, un libre-service de rétroaction, un apprentissage par renforcement par rétroaction humaine et d'autres technologies, le paramètre ChatGLM-6B de 6,2 milliards, bien que pas aussi grand que le modèle de 100 milliards, a considérablement réduit le coût d'inférence et s'est amélioré. Il a amélioré l'efficacité et peut déjà générer des réponses tout à fait cohérentes avec les préférences humaines.

Modèle d'adresse open source : https://github.com/THUDM/ChatGLM-6B

# 🎜🎜#

Plus précisément, ChatGLM-6B présente les fonctionnalités suivantes :

• Pré-formation bilingue complète chinois-anglais : ChatGLM-6B Un montant de jeton de 1T est formé sur du matériel chinois et anglais dans un rapport de 1:1, et il a des capacités bilingues.
• Architecture et taille du modèle optimisées : s'appuyant sur l'expérience de formation GLM-130B, la mise en œuvre de l'encodage de position RoPE 2D est révisée, en utilisant la structure FFN traditionnelle. La taille des paramètres de 6B (6,2 milliards) permet également aux chercheurs et aux développeurs individuels d'affiner et de déployer eux-mêmes ChatGLM-6B.
• Seuil de déploiement inférieur : à demi-précision FP16, ChatGLM-6B nécessite au moins 13 Go de mémoire vidéo pour l'inférence. Combiné avec la technologie de quantification de modèle, cette exigence peut être encore plus grande. réduit à 10 Go (INT8) et 6 Go (INT4), permettant à ChatGLM-6B d'être déployé sur des cartes graphiques grand public.
• Longueur de séquence plus longue : par rapport au GLM-10B (longueur de séquence 1024), ChatGLM-6B a une longueur de séquence de 2048, prenant en charge des conversations et des applications plus longues.
• Formation à l'alignement de l'intention humaine : utilisation du réglage fin supervisé, du bootstrap par rétroaction et de l'apprentissage par renforcement à partir de la rétroaction humaine et d'autres méthodes, afin que le modèle ait la capacité de comprendre le intention des instructions humaines. Le format de sortie est markdown pour un affichage facile.

Cependant, en raison de la petite capacité du modèle ChatGLM-6B, il existe inévitablement certaines limitations et lacunes, notamment : #🎜 🎜#

Mémoire de modèle et capacités de langage relativement faibles. ChatGLM-6B peut générer des informations incorrectes lorsqu'il est confronté à de nombreuses tâches de connaissances factuelles, et il n'est pas très efficace pour résoudre des problèmes logiques (tels que les mathématiques, la programmation).
Peut générer des illustrations nuisibles ou du contenu biaisé : ChatGLM-6B n'est qu'un modèle de langage préliminaire aligné sur l'intention humaine et peut générer du contenu préjudiciable et biaisé.
Faible capacité de conversation à plusieurs tours : la capacité de compréhension du contexte de ChatGLM-6B n'est pas suffisante face à des scénarios de génération de réponses longues et de conversations à plusieurs tours, il peut y en avoir. Il peut y avoir des situations dans lesquelles le contexte est perdu et des malentendus surviennent.

L'équipe GLM a déclaré que ChatGLM est encore loin derrière les meilleurs produits et recherches de grands modèles au monde. À l'avenir, il continuera à se développer et à s'ouvrir. source des versions mises à jour de ChatGLM et des produits associés. L'équipe GLM invite également tout le monde à télécharger ChatGLM-6B et à mener des recherches et à développer des applications (non commerciales) basées sur celui-ci.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!