Youked construit un cluster d'inférence de kilocalories pour Zhipu AI afin d'aider les utilisateurs du monde entier à profiter d'une vie intelligente à grande échelle

Un soir de 2021, une mère est tombée dans un goulot d'étranglement créatif et n'a pas pu continuer son roman ; son père était occupé à écrire du code, envisageant de développer un petit jeu après le travail, mais était troublé par des problèmes de débogage de code ; Question de l'Olympiade mathématique sur son bureau, fronça les sourcils et réfléchit longuement.

Aujourd’hui en 2024, l’émergence des grands modèles d’IA change tout.

Avec l'aide de "Zhipu Qingyan", la création romane de ma mère a pris un nouveau souffle. Il lui suffit d'introduire sa créativité et ses idées dans le grand modèle pour générer des intrigues et des dialogues naturels et vivants ; Utilisations Le grand modèle est utilisé pour la programmation et le débogage du code. En analysant la logique du code, le processus de développement fastidieux est considérablement réduit et plus de la moitié de la charge de travail est réduite. Le grand modèle est également devenu un assistant puissant pour les enfants dans leur apprentissage. peut non seulement corriger intelligemment les devoirs, mais également fournir des idées détaillées de résolution de problèmes et améliorer considérablement l'efficacité de l'apprentissage.

Grand modèle + puissance de calcul, permettant aux utilisateurs du monde entier de profiter d'une vie intelligente

Zhipu AI s'engage à construire le grand modèle d'intelligence cognitive leader au monde, et son grand modèle de base de nouvelle génération GLM-4 a considérablement amélioré les performances Amélioré, proche de GPT-4, démontrant les capacités de modèles de langage étendus multimodaux de pointe du secteur. Grâce à la puissante combinaison du grand modèle de Smart Spectrum et de la puissance de calcul de Youked, GLM-4 fonctionne de manière stable et efficace sur le cloud, et dispose de capacités de raisonnement en temps réel à grande échelle, atteignant avec succès un équilibre entre rentabilité et service. qualité. Cette innovation permet au modèle de spectre intelligent de comprendre en profondeur les besoins des utilisateurs et de répondre rapidement, permettant aux utilisateurs du monde entier de profiter à l'avance de la commodité et de l'efficacité de la vie intelligente.

Dès 2022, Ucade a commencé à fournir une puissante prise en charge de la puissance de calcul sous-jacente pour Zhipu AI. Le centre informatique intelligent d'Ulanqab, à faible coût et à haute valeur ajoutée, d'Ucarte fournit des armoires personnalisées haute puissance et une puissance de calcul GPU abondante, qui peuvent aider à créer rapidement des modèles intelligents à grande échelle, à étendre l'échelle des clusters de formation et d'inférence et à améliorer les modèles. Efficacité de la R&D, prenant en charge le lancement rapide d’applications de grands modèles et de services externes. À l'heure actuelle, l'échelle totale de gestion de la puissance de calcul du centre informatique intelligent d'Ukede dépasse 3 000P. "Zhipu Qingyan" des millions d'utilisateurs chaque jour, confrontés à des besoins de raisonnement en temps réel à grande échelle dans de multiples scénarios tels que du texte, des images et des vidéos. Afin de répondre à l'augmentation des besoins en calcul modèle, il est nécessaire de continuer à augmenter le nombre de cartes informatiques et de créer un cluster d'inférence au niveau du kilo-carte pour améliorer encore l'utilisation des ressources informatiques et les performances d'inférence.

La plate-forme de services d'inférence Ukerde fournit une puissance de calcul intégrée à très grande échelle et prend en charge la planification et la gestion unifiées des clusters informatiques. À l'heure actuelle, Ucadex a aidé avec succès Zhipu AI à créer un cluster d'inférence à l'échelle de plus de 1 000 cartes. Dans le même temps, avec la prise en charge des produits d'interopérabilité cloud Youked, la plate-forme dispose également de puissantes « capacités de réseau hybride », permettant aux grands modèles de réaliser une formation et une promotion intégrées. La gestion des ressources informatiques basée sur le cycle de vie complet garantit non seulement le fonctionnement efficace et stable des grands modèles, leur permettant de faire face à diverses tâches de raisonnement complexes, mais offre également une solide garantie technique pour la réponse en temps réel des services cloud. Associez des ressources informatiques complètes pour obtenir une couverture diversifiée de scénarios de raisonnementLes grands modèles à spectre intelligent sont largement utilisés dans la programmation intelligente, l'écriture intelligente et d'autres domaines, fournissant un support technique solide pour la mise à niveau intelligente de diverses industries. Qu'il s'agisse de traiter des données multimodales telles que du texte, des images ou des vidéos, le grand modèle à spectre intelligent peut démontrer d'excellentes performances et flexibilité. La plate-forme de services d'inférence d'Ukede correspond aux ressources informatiques complètes et est compatible avec divers scénarios tels que les grands modèles généraux et les grands modèles industriels. Elle fournit des services d'inférence flexibles et stables pour divers modèles tels que la génération de texte et d'images et la génération de code pour répondre aux besoins. besoins de différents niveaux de puissance de calcul. Le scénario nécessite un raisonnement en temps réel à grande échelle. Parmi eux, "CodeGeeX" est un assistant de programmation intelligent basé sur un grand modèle lancé par Zhipu AI avec le soutien de la solution de déploiement de puissance de calcul flexible et flexible de Youkede. Il peut générer et compléter du code, ajouter automatiquement des commentaires, des fonctions telles que la traduction de code et. Les questions et réponses intelligentes aident les programmeurs à écrire 20 millions de lignes de code chaque jour, améliorant considérablement l'efficacité du travail.

En plus des services d'inférence de modèles sur le cloud public, Ucade prend également en charge le déploiement privatisé de grands modèles. Ucade et Zhipu AI explorent une nouvelle voie de coopération basée sur la « machine tout-en-un grand modèle ». La solution industrielle grand modèle lancée conjointement peut mieux aider les secteurs de la finance, de la médecine, de l'automobile, de la fabrication et d'autres à mettre rapidement en œuvre des activités de grand modèle. . À l'heure actuelle, la plate-forme de services de raisonnement d'Ucade intègre de riches ressources de modèles industriels. Ces modèles industriels peuvent être personnalisés pour différents besoins de l'industrie, offrant ainsi des capacités de raisonnement plus précises et plus efficaces.

Réduire considérablement les coûts d'inférence et atteindre un équilibre entre rentabilité et qualité de service

À mesure que la technologie AIGC continue d'évoluer, sa dépendance à la puissance de calcul GPU est devenue de plus en plus évidente. Alors que les grandes entreprises modèles recherchent d'excellentes performances informatiques, elles accordent également de plus en plus d'attention à l'efficacité d'utilisation et aux exigences de coût de la puissance de calcul d'inférence.

Actuellement, Ucade a introduit des mécanismes avancés de gestion des ressources GPU et de planification pour fournir une prise en charge flexible et fiable des performances pour les grands modèles de spectre intelligent. Grâce à une allocation intelligente et à un ajustement dynamique des tâches du cluster, la pression de charge sur un seul nœud est efficacement réduite, tout en évitant l'inactivité et la consommation excessive de ressources informatiques. Grâce à cette méthode raffinée de gestion des ressources, Ukerde contribue à améliorer considérablement l’utilisation de la puissance de calcul des grands modèles de spectre intelligent, apportant une expérience d’inférence de grands modèles économique et efficace. Les produits d'Ucade sont nettement meilleurs que ceux de concurrents similaires en termes de coûts d'inférence, atteignant avec succès un équilibre entre rentabilité et qualité de service.

Dans le même temps, Zhipu AI utilise le système de fichiers parallèle UPFS développé indépendamment par Ucade pour optimiser les performances d'inférence du modèle. UPFS prend en charge les réseaux IB/RoCE, fournissant un accès aux données en quelques centaines de microsecondes et des débits de lecture et d'écriture allant jusqu'à des centaines de Go/s, améliorant encore l'efficacité de la transmission et de la communication des données.

À l'avenir, Ucade travaillera main dans la main avec Zhipu AI pour promouvoir l'innovation continue et l'application de la technologie des grands modèles avec une base informatique intelligente plus flexible et plus fiable. On pense que grâce à la coopération étroite et aux efforts inlassables des deux parties, les grands modèles prendront racine dans divers domaines et seront pleinement intégrés dans la production et la vie. Un plus grand nombre d'utilisateurs et un plus grand nombre de familles pourront profiter d'expériences d'intelligence artificielle intelligentes, efficaces et pratiques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!