Prend en charge la saisie de 380 000 mots à la fois ! Tencent Hunyuan lance un modèle d'articles longs de 256 000, ouvert aux entreprises et aux développeurs individuels via Tencent Cloud​

AILa technologie des grands modèles devient une force clé dans la promotion du développement d'une productivité de haute qualité et joue un rôle important dans l'intégration avec des milliers d'industries. Le grand modèle Hunyuan de Tencent a étendu le modèle à des milliards d'échelles de paramètres en adoptant la structure du modèle expert hybride (MoE) , augmentant la capacité du "brain" tout en améliorant les performances de prédiction et en favorisant le coût de le raisonnement est réduit. En tant que modèle général, Tencent Hunyuan est leader du secteur en matière de performances chinoises, en particulier en matière de génération de texte, de logique mathématique et de dialogue à plusieurs tours.

Récemment, Tencent Hunyuan Large Model a officiellement publié le modèle de texte long 256k, et il est ouvert à la majorité des entreprises et des développeurs individuels via Tencent Cloud pour prendre en charge une plus large gamme d'innovations et d'applications. La version modèle Tencent Hunyuan 256k a la capacité de gérer des textes ultra-longs dépassant 380000 caractères. Dans les scénarios d'application de conversation, ce modèle peut " se souvenir de " plus de contenu de conversation, évitant efficacement " oublier " informations et autres problèmes. De plus, il dispose d'excellentes capacités d'analyse contextuelle pour fournir des commentaires plus précis et pertinents aux participants à la conversation, les aidant ainsi à prendre des décisions plus éclairées.

De plus, cette version modèle montre également de solides performances en compréhension écrite de documents longs et en analyse de données à grande échelle. Il peut fournir un solide soutien au travail aux professionnels des secteurs de la finance, de la médecine, de l'éducation, du voyage et d'autres secteurs, améliorant considérablement leur efficacité au travail. Le modèle a également été profondément optimisé en termes de performances d'inférence, garantissant que les utilisateurs peuvent profiter d'une expérience plus fluide et plus efficace dans les applications réelles sur des plateformes telles que Tencent Cloud.

Réduire « l'oubli » et rendre les grands modèles plus intelligents

Dans les produits de grands modèles, la gestion des exigences conversationnelles est une fonction essentielle. Cependant, en raison des limitations des capacités de traitement de texte long, les grands modèles traditionnels sont susceptibles de "direction perdue" ou d'apparaître "mémoire manquante" pendant les conversations. de la conversation augmente, la quantité d'informations oubliées augmente également. Le modèle

Tencent Hunyuan256k est spécialement optimisé pour ce défi. Il adopte l'architecture avancée "Expert Hybrid" (MoE) et intègre des technologies innovantes telles que RoPE-NTK et Flash Attention V2, les deux conservant Il a la capacité de traiter efficacement des textes courts généraux (moins de 4 000 caractères), tout en réalisant une percée dans la profondeur et l'étendue du traitement des textes longs.

Actuellement, le grand modèle de Tencent Hunyuan a déjà la capacité de compréhension de contexte ultra-longue de 256k, et le nombre de caractères traités à la fois dépasse 38 millions après un rigoureux. Trouver une aiguille dans une botte de foin”Après des tests sur la tâche, la précision du modèle dans le traitement de textes longs a atteint 99,99%, ce qui est également dans une position de leader au niveau international.

Itération continue et stable, l'efficacité de l'application de grands modèles est améliorée

Le grand modèle Tencent Hunyuan est le premier du secteur à adopter le modèle expert hybride (MoE ) structure, et dans ce processus a accumulé un grand nombre de technologies auto-développées. Dans la version précédente 32K, ce modèle a largement dépassé les modèles open source similaires sur le marché et a démontré d'excellentes performances dans une variété de scénarios d'application.

Après une nouvelle itération, Tencent Hunyuan 256kDans l'évaluation GSB dans le domaine général, par rapport à la version précédente, le taux de victoire est de 50,72%. Dans le même temps, l'ensemble de formation de Tencent Hunyuan 256k intègre des données annotées de haute qualité telles que des données de texte long, des données de traduction et des questions-réponses multidocuments dans plusieurs domaines tels que les domaines médical et financier, ce qui rend le modèle plus pratique dans les applications pratiques, en particulier dans les secteurs médicaux et financiers qui nécessitent une analyse et un traitement fréquents de grandes quantités de données textuelles longues, peut fournir un support de travail plus précis et plus efficace.

Par exemple, lorsqu'un rapport financier émis par la banque centrale est saisi dans le modèle Tencent Hunyuan 256k, le modèle peut rapidement affiner et résumer les points clés du rapport, atteignant une vitesse et une précision de traitement impressionnantes. Niveau satisfaisant.

Optimisation des performances d'inférence, apportant de plus fortes capacités de compréhension des grands modèles

Dans le même temps, Tencent Hunyuan 256k a été profondément optimisé en termes de performances d'inférence. En mode INT8précision, par rapport à FP16précision, le QPM (taux de requête par seconde) du modèle a obtenu une amélioration significative de 23,9%, tandis que la consommation du premier mot n'est que augmenté de 5,7%. Ces améliorations améliorent considérablement la réactivité du modèle et son efficacité globale dans les applications réelles.

En prenant comme exemple l'analyse de "La Romance des Trois Royaumes", Tencent Hunyuan 256k peut lire et récupérer rapidement ce roman classique avec des centaines de milliers de mots, et peut non seulement identifier avec précision la clé les personnages et les intrigues des événements du roman, même des descriptions détaillées de la météo, des vêtements des personnages, etc. peuvent fournir des informations précises.

AIEn tant qu'élément clé de la nouvelle productivité, les grands modèles jouent un rôle essentiel dans la promotion de la modernisation industrielle et la réalisation d'un développement de haute qualité. Le lancement du modèle Tencent Hunyuan 256k a insufflé une nouvelle vitalité à l'ensemble du secteur et ouvert des perspectives d'application plus larges.

Actuellement, le modèle d'article long Tencent Hunyuan 256k a été ouvert à la majorité des entreprises et des développeurs individuels via Tencent Cloud. Les utilisateurs peuvent accéder au hunyuan-standardversion256karticle long. modèle entrer. Cela permet à davantage de développeurs et d'utilisateurs d'accéder et d'utiliser facilement les puissantes fonctions du modèle Hunyuan de Tencent, fournissant ainsi des solutions intelligentes pour tous les horizons et favorisant la réalisation de scénarios d'application plus innovants.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!