Le grand modèle Tencent Hunyuan a été officiellement dévoilé et nous avons pris les devants en testant sa productivité

Le premier lot d'enregistrements de modèles nationaux à grande échelle a été approuvé la semaine dernière et les services ont commencé à être ouverts à l'ensemble de la société, marquant que les modèles à grande échelle sont entrés dans une nouvelle étape d'application à grande échelle. Parmi les entreprises qui ont déjà publié des applications, certains géants de la technologie semblent n'avoir pas encore pris de mesures

Le 7 septembre 2023, Tencent a officiellement dévoilé le grand modèle Hunyuan lors de la Tencent Global Digital Ecology Conference et a ouvert Tencent Cloud au monde extérieur

En tant que grand modèle avec plus de 100 milliards de paramètres, Hunyuan utilise plus de 2 000 milliards de jetons dans le corpus de pré-formation. Il s'appuie sur un certain nombre de capacités techniques uniques pour acquérir de solides capacités de création chinoises, des capacités de raisonnement logique dans des contextes complexes et une exécution fiable des tâches. capacités.

Le vice-président du groupe Tencent, Jiang Jie, a déclaré : « Le grand modèle Tencent Hunyuan est formé à partir de zéro, à partir du premier jeton. Nous maîtrisons toute la chaîne, de l'algorithme de modèle au cadre d'apprentissage automatique en passant par l'infrastructure d'IA. "

Ouvrez le grand modèle, tout est question de productivité

Tencent a toujours dit qu'il avait déjà fait des plans dans la direction pertinente des grands modèles, et que les recherches spéciales avançaient de manière ordonnée.

Quel est le niveau de ce grand modèle si ce n'est pas de la « nouvelle technologie » ? Lors de la conférence, Jiang Jie a révélé quelques informations de base en interrogeant directement le modèle Hunyuan. Son volume de paramètres a atteint des centaines de milliards et les données utilisées pour la formation datent de juillet de cette année. En outre, Tencent a également déclaré que les connaissances du grand modèle seront mises à jour chaque mois

Le contenu affiché sur la scène comprend l'applet grand modèle Tencent Hunyuan, l'assistant IA dans les documents Tencent et les fonctions de la conférence Tencent. AI assistant

Ce site est le premier à le faire Après avoir obtenu la qualification du test, j'ai tout d'abord essayé l'applet WeChat.

Lorsque nous sommes entrés dans le mini-programme, nous avons été agréablement surpris de constater que le contenu à l'intérieur n'était pas inférieur à celui d'autres grandes applications. Ici, nous pouvons trouver de l'inspiration et voir quelles fonctions Hunyuan peut fournir

De la productivité, de la vie, du divertissement au développement de programmation, ses capacités ouvertes peuvent être considérées comme très complètes, en ligne avec l'identité de cent milliards de personnes. modèle à grande échelle. Alors Hunyuan peut-il vraiment accomplir ces tâches efficacement ?

Je dois préparer un PPT. J'ai choisi le sujet mais je ne sais pas par où commencer. J'ai posé une question au modèle Hunyuan, et il n'a fallu que quelques secondes à l'IA pour donner un aperçu de sept parties, chaque partie contenant également les points clés de répartition

Entrez un article sur arXiv en septembre Le La partie abstraite et introductive de l'article « RLAIF : Scaling Reinforcement Learning from Human Feedback with AI Feedback » soumise par Google comprend plusieurs longs paragraphes. De nombreux grands modèles ne prennent pas du tout en charge autant de contenu d'entrée. Le grand modèle Hunyuan l'a directement résumé et traduit. en chinois.

Cela signifie probablement que l'intelligence artificielle peut remplacer le rôle du retour d'apprentissage par renforcement humain (RLHF) dans la formation de modèles à grande échelle

Un grand modèle qui a atteint le stade pratique peut nous aider à écrire du code. Maintenant, nous donnons à l'IA un morceau de code et la laissons expliquer le contenu qu'elle ne peut pas comprendre et n'a pas de commentaires clairs :

Il explique en détail la signification des nombres dans l'algorithme réciproque de la racine carrée (mais il ne comprend pas les commentaires en profondeur). Il ne faudra peut-être pas longtemps avant que nous ne puissions plus développer sans grands modèles.

Ensuite, il y a les documents Tencent. De nombreuses personnes ont utilisé des outils de grand modèle tels que GPT-4 dans leurs propres flux de travail, et le grand modèle Hunyuan a été utilisé dans la fonction d'assistant intelligent lancée par Tencent Documents. Créez un nouveau document intelligent sur le PC et entrez « / » pour réaliser la génération de contenu, la traduction, le polissage et d'autres opérations selon vos besoins.

Entrez ensuite la commande en langage naturel, et la capacité de génération du grand modèle peut vous aider à résumer le texte long dans les documents Tencent :

Cela semble être très utile lors de la rédaction d'un article

Bien sûr, si Vous donnez un sujet, il peut créer du texte, puis vous sélectionnez une partie du contenu généré, et l'IA peut l'affiner et l'éditer plusieurs fois. Une fois que vous avez fini d'écrire, vous pouvez le traduire en un seul clic :

De plus, le calcul des données du tableau et la génération de graphiques se font tous en une seule phrase.

Ces fonctions sont actuellement en phase de tests internes et seront ouvertes aux utilisateurs lorsqu'elles seront matures.

Dans les réunions Tencent, l'application du grand modèle Hunyuan peut vous aider à ne plus être distrait pendant la réunion. Par exemple, vous pouvez à tout moment demander à l’assistant IA ce qui vient d’être dit, ou sur quoi portait la dispute entre ces deux personnes. L'IA peut résumer tranquillement le contenu en quelques phrases courtes et en énumérer clairement une, deux ou trois

Bien sûr, après la réunion, le grand modèle Hunyuan peut également résumer le contenu de la réunion plus rapidement et de manière plus complète et marquer le but. -do items

a couvert plus de 50 entreprises de Tencent

Jiang Jie a résumé les trois caractéristiques majeures du modèle Hunyuan : une forte capacité de création chinoise, une capacité de raisonnement logique dans des contextes complexes et des capacités d'exécution de tâches fiables.

À l'heure actuelle, de nombreux grands modèles de l'industrie ont encore une application limitée dans les scènes. Le principal problème est qu'ils ont des taux de tolérance aux pannes élevés et ne conviennent qu'aux scènes occasionnelles avec des tâches simples. Tencent a mené une série d'innovations d'auto-recherche au niveau des algorithmes pour améliorer la fiabilité et la maturité des modèles.

Le vice-président du groupe Tencent, Jiang Jie, a fait une apparition à l'événement

Compte tenu du problème que les grands modèles ont tendance à « charabia », Tencent a optimisé l'algorithme et la stratégie de pré-formation, et par lui-même -technologie développée de « détection de la vérité », « l'illusion » des grands modèles Hunyuan est réduite de 30 à 50 % par rapport aux grands modèles open source grand public.

« L'approche de l'industrie consiste à fournir des améliorations de recherche, des graphiques de connaissances et d'autres « plug-ins » pour améliorer la capacité des examens à livre ouvert sur de grands modèles. Cette méthode augmente la connaissance du modèle, mais il existe de nombreuses limites dans les applications pratiques. ", a déclaré Jiang Jie. « Dans les premiers stades de développement du grand modèle Hunyuan, nous avons envisagé une méthode qui ne repose pas du tout sur des données externes et avons mené de nombreuses tentatives de recherche. La méthode de pré-entraînement que nous avons trouvée a largement résolu le problème des hallucinations. "

Tencent utilise également l'apprentissage par renforcement. Cette méthode permet au modèle d'apprendre à identifier les problèmes de piège, et grâce à l'optimisation du codage positionnel, l'effet et les performances du modèle dans le traitement de texte ultra-long sont améliorés. En termes de logique, Tencent a proposé une nouvelle stratégie de chaîne de réflexion, qui permet aux grands modèles de raisonner et de prendre des décisions basées sur des scénarios d'application réels comme les humains.

Le grand modèle Tencent Hunyuan peut comprendre la signification du contexte et a une longue capacité de mémoire de texte. , et peut couramment avoir plusieurs séries de conversations dans des domaines professionnels. En outre, il peut également créer du contenu tel que de la création littéraire, des résumés de texte et des jeux de rôle pour bien comprendre les intentions des utilisateurs et fournir des réponses rapides, efficaces et précises. Ce n’est que lorsqu’une telle technologie sera mise en œuvre que la productivité pourra être véritablement améliorée.

Le contenu qui doit être réécrit est le suivant : écrire un article de 4000 mots ne peut pas répondre aux exigences, mais le grand modèle Hunyuan peut le faire

Dans la "Pré-formation à grande échelle". Technologie modèle" de l'Académie chinoise des technologies de l'information et des communications. Dans le test de conformité standard des "Méthodes d'évaluation des applications et des applications", le grand modèle Hunyuan a évalué un total de 66 éléments de capacité et a obtenu le score le plus élevé dans l'évaluation complète dans les deux domaines du « développement de modèles » et de la « capacité du modèle ». Sur les ensembles d'évaluation traditionnels MMLU, CEval et AGI-eval, le grand modèle Hunyuan présente d'excellentes performances, en particulier dans les sciences chinoises, les questions d'examen d'entrée à l'université et les mathématiques.

L'importance de la construction de grands modèles réside dans les applications industrielles. Il est entendu que plus de 50 entreprises et produits au sein de Tencent ont accédé et testé le modèle Tencent Hunyuan, notamment Tencent Cloud, Tencent Advertising, Tencent Games, Tencent Financial Technology, Tencent Conference, Tencent Documents, WeChat Souyisou, le navigateur QQ, etc. et obtenu de premiers résultats. Les programmeurs de Tencent ont commencé à utiliser des outils de grands modèles pour améliorer l'efficacité du développement

De plus, Tencent a également développé son propre framework d'apprentissage automatique Angel pour doubler la vitesse de formation du modèle et augmenter la vitesse d'inférence par rapport au framework traditionnel du secteur. 1,3 fois.

L'infrastructure nécessaire à la construction de grands modèles n'a pas non plus été démolie. Tencent a précédemment déclaré avoir construit un centre de calcul à grande échelle au début de cette année. Récemment, les grands modèles de MiniMax et Baichuan Intelligence ont utilisé la puissance de calcul de Tencent.

Tencent travaille également dur pour combiner les données du secteur avec ses propres capacités, en utilisant des données spécifiques au secteur provenant de clients externes pour résoudre des problèmes dans des secteurs spécifiques et en s'intégrant au secteur réel pour promouvoir en permanence les avantages sociaux, économiques et la valeur commerciale des grandes entreprises. -maquettes

"Selon les données publiques, 130 grands modèles ont été lancés en Chine. Il existe à la fois des modèles généraux et des modèles de terrain professionnels. En tant que modèle général, Hunyuan peut prendre en charge la plupart des activités internes de Tencent. Aujourd'hui, je montre plusieurs modèles profondément connectés. L'entreprise compte un grand nombre d'utilisateurs et les grands modèles ont été profondément appliqués dans nos domaines clés", a déclaré Jiang Jie. « Mon grand modèle sert d'abord l'entreprise elle-même, et ensuite il est ouvert au monde extérieur via Tencent Cloud. Lorsqu'il sera ouvert aux clients, Hunyuan Big Model servira de base au Tencent Cloud Model as a Service MaaS. Les clients peuvent soit appeler directement l'API Hunyuan, soit utiliser Hunyuan comme modèle de base pour créer des applications exclusives pour différents scénarios industriels.

On voit que la stratégie de Tencent dans le domaine des grands modèles est axée sur la stabilité : se concentrer sur la pose de bases solides et ne pas se précipiter pour montrer des produits semi-finis. Et ce mouvement a montré une excellente force.

Le développement des grands modèles est toujours en cours. Comme l'a dit Jiang Jie : « Il n'est pas exagéré de dire que Tencent a pleinement adopté les grands modèles. Nos capacités ont constamment évolué et nous pensons que le potentiel de l'AIGC est grand. illimité. Nous sommes déjà sur cette voie. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!