Les tests internes de Kimi Chat démarrent, Volcano Engine fournit des solutions d'accélération, prend en charge la formation et l'inférence du service de grands modèles Moonshot AI

Le 9 octobre, Beijing Dark Side of the Moon Technology Co., Ltd. (Moonshot AI) a annoncé une percée dans le domaine du « texte long » et a lancé Kimi Chat, le premier produit d'assistant intelligent prenant en charge la saisie de 200 000 caractères chinois. Il s'agit de la longueur d'entrée de contexte la plus longue pouvant être prise en charge par un service de grand modèle pouvant être utilisé commercialement sur le marché mondial, marquant le leadership mondial de Moonshot AI dans cette technologie importante.

Le Volcano Engine entretient une coopération approfondie avec Moonshot AI pour lui fournir exclusivement des solutions de formation en IA et d'accélération d'inférence hautement stables et rentables. Les deux parties mènent conjointement des recherches et des développements technologiques pour promouvoir conjointement l'application de grands modèles de langage dans le domaine vertical. champs et scénarios généraux. Dans le même temps, Kimi Chat rejoindra bientôt la plate-forme de services pour grands modèles Volcano Engine - Volcano Ark. Les deux parties continueront de fournir aux entreprises et aux consommateurs des applications d'IA plus riches dans le domaine de l'écologie des grands modèles.

Par rapport aux grands services actuels sur le marché qui sont formés sur la base de l'anglais, Kimi Chat possède de fortes capacités multilingues. Par exemple, Kimi Chat présente des avantages significatifs en chinois, et l'effet d'utilisation réel peut prendre en charge le contexte d'environ 200 000 personnes. Caractères chinois. 2,5 fois celui du Claude-100k d'Anthropic (mesuré en réalité environ 80 000 mots) et 8 fois celui du GPT-4-32k d'OpenAI (mesuré en réalité environ 25 000 mots). Dans le même temps, Kimi Chat peut réaliser un mécanisme d'attention à longue portée sans perte sous des centaines de milliards de paramètres grâce à une structure de réseau innovante et à une optimisation technique, et ne s'appuie pas sur des solutions de « raccourci » telles que les fenêtres coulissantes, le sous-échantillonnage et les petits modèles qui peut grandement nuire aux performances.

Dans une précédente interview, Yang Zhilin, le fondateur de Moonshot AI, a déclaré un jour que la compression sans perte de données massives peut atteindre un haut degré d'intelligence, qu'il s'agisse de texte, de voix ou de vidéo. La limite supérieure des capacités d'un grand modèle (c'est-à-dire le taux de compression sans perte) est déterminée à la fois par la capacité en une seule étape et par le nombre d'étapes exécutées. La première est liée au nombre de paramètres et la seconde fait référence à la longueur du contexte

.

Relever les défis liés à la mise en œuvre de grands modèles de langage et promouvoir la mise en œuvre d'applications industrielles

Moonshot AI estime que l'augmentation de la longueur du contexte peut apporter de nouvelles opportunités de développement aux applications de modèles à grande échelle, lui permettant d'entrer dans l'ère Long LLM (LLLM) à partir de l'ère LLM et de parvenir à une adaptation précise à diverses industries. Lors de l'exploration de méthodes efficaces pour traiter de longues scènes de texte, les applications de modèles à grande échelle doivent continuellement explorer de nouveaux moyens pour résoudre le problème de l'illusion du modèle et améliorer la contrôlabilité du contenu généré, tout en recherchant de nouvelles voies pour le développement de capacités de modèles personnalisés à grande échelle. . Dans le processus de développement de modèles de langage à grande échelle, il est nécessaire de surmonter plusieurs seuils tels que l'expansion des besoins en ressources informatiques, l'instabilité de l'ingénierie des tâches, les coûts de projet élevés, la sécurité et la confiance, etc., pour améliorer l'efficacité de la formation du modèle

Afin de résoudre les problèmes ci-dessus, Moonshot AI s'est associé à Volcano Engine pour innover dans la technologie de l'IA et mener des pratiques AGI sur la plateforme d'apprentissage automatique Volcano Engine veMLP. Moonshot AI utilise pleinement le pool de ressources GPU et s'appuie sur des modèles de pré-entraînement à grande échelle pour obtenir un entraînement normal et stable à une échelle de milliers de calories par jour. En six mois, il a formé un grand modèle de langage avec Kimi Chat. une échelle de centaines de milliards de paramètres, déverrouillant l'écriture de scènes professionnelles et des textes ultra-longs. Il peut comprendre des scénarios complexes tels que l'analyse, un dialogue personnalisé avec une mémoire ultra-longue et des questions-réponses de connaissances basées sur un grand nombre de documents. utilisé avec succès dans de nombreuses entreprises renommées.

Zhou Xinyu, co-fondateur de Moonshot AI, a déclaré : « Moonshot AI se concentre sur l'exploration des limites de l'intelligence artificielle générale et s'engage à transformer la puissance de calcul en solutions intelligentes optimales. Volcano Engine dispose de capacités d'infrastructure et de réserves de puissance de calcul de premier plan au niveau national. À l'avenir, les deux parties Nous coopérerons davantage dans des domaines tels que l'infrastructure informatique de l'IA et l'expansion des scénarios d'application pour promouvoir conjointement le développement de la technologie de l'intelligence artificielle et offrir aux utilisateurs une expérience de service stable, efficace et intelligente.

En utilisant la plateforme d'apprentissage automatique Volcano Engine, la formation de grands modèles peut être plus stable et plus rapide

Le Volcano Engine fournit des solutions de formation et d'accélération d'inférence très stables et rentables pour la construction et la formation de grands modèles. Sa plate-forme d'apprentissage automatique veMLP a été peaufinée depuis longtemps par de grandes entreprises utilisatrices telles que Douyin et a formé une plateforme d'apprentissage automatique. Optimisation de l'ingénierie du développement de l'IA full-stack. Les solutions et les meilleures pratiques telles que les solutions, l'auto-réparation des erreurs de tâche et l'observabilité expérimentale fournissent des services de développement et d'itération d'algorithmes d'IA à guichet unique efficaces, stables, sécurisés et mutuellement fiables, ce qui accélère la formation de grands modèles. , plus stable et plus rentable. Moonshot AI est basé sur la solution de formation et d'accélération d'inférence d'IA à très grande échelle fournie par Volcano Engine, aidant l'équipe à réaliser des itérations de formation continue, un réglage fin et une inférence de grands modèles de langage de manière rapide, stable et à faible coût.

1. Planification évolutive de la puissance de calcul et des ressources de stockage IaaS

Construire un cluster informatique haute performance pour atteindre une formation de grands modèles de niveau 10 000 ka, un réseau de retard de niveau microseconde et un calcul élastique peut économiser 70 % des coûts de puissance de calcul ; utilisez la solution d'accélération à chaud et à froid vePFS+TOS pour répondre aux exigences. un débit élevé de données de formation tout en garantissant une réduction globale des coûts de stockage de 65 %. Pour le modèle de lecture et d'écriture du système de fichiers des grands modèles, nous avons développé conjointement un système de mise en cache de fichiers dédié pour améliorer considérablement l'utilisation de la carte graphique.

2. Assurer la stabilité du cluster informatique PaaS

Optimisez la stabilité des très grands clusters de formation, fournissez une optimisation d'auto-réparation des pannes matérielles et des capacités de diagnostic indépendantes, permettez aux tâches des utilisateurs de réessayer et de reprendre rapidement la formation, d'obtenir une formation stable au niveau mensuel et de réduire RingAllReduce grâce à l'optimisation de l'affinité de communication de plusieurs machines. tâches de formation Communiquer entre les commutateurs.

3. Expérimentez avec une observabilité élevée

Gestion des expériences pour plusieurs tâches de formation et comparaison des résultats de la formation via la visualisation pour déterminer le modèle pour l'itération et le lancement en ligne ; utiliser des journaux de surveillance complets pour aider l'entreprise à ajuster les paramètres parallèles 3D et à localiser les défauts de formation

Solution de sécurité et de confiance mutuelle pour les services de grands modèles

Combine une informatique de confidentialité fiable avec des applications LLM pour fournir des fonctions de bac à sable de sécurité et améliorer le contrôle des autorisations des développeurs. Le moteur Volcano fonctionne également avec Moonshot AI pour concevoir un flux de travail adapté aux habitudes de développement de grands modèles, garantissant un accès hiérarchique aux données et garantissant la sécurité des données tout en garantissant l'efficacité du travail.

Wu Di, responsable de l'algorithme intelligent de Volcano Engine, a déclaré : « Volcano Engine a toujours adhéré à une attitude coopérative consistant à se concentrer sur la technologie, à responsabiliser les partenaires et à la symbiose des valeurs. Moonshot AI possède l'équipe de R&D sur grands modèles la plus avancée du monde. Chine et possède une compréhension approfondie et une expérience d'application de la technologie de l'IA, la coopération entre les deux parties fournira en outre aux entreprises et aux consommateurs des applications d'IA plus riches dans le domaine des services écologiques multimodèles.

Vue panoramique sur l'arche du volcan

Actuellement, Volcano Ark a attiré de grands modèles de nombreuses entreprises de technologie d'IA et instituts de recherche scientifique tels que Zhipu AI, Minimax et ByteDance Skylark. Le service de grands modèles de Moonshot AI, Kimi Chat, arrive également sur Volcano Ark. Volcano Engine coopérera avec d'excellents fournisseurs nationaux de services de grands modèles pour fournir une gamme complète de fonctions et de services tels que la formation de modèles, l'inférence, l'évaluation et le réglage fin pour aider tous les horizons à accélérer le développement de l'IA. Toutes les entreprises sont invitées à découvrir de grands modèles dans Volcano Ark. Volcano Ark est prêt à grandir avec tout le monde !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!