Huawei Cloud apporte la puissance de calcul de l'IA au monde

Tout au long de 2023, la communauté technologique mondiale est enthousiasmée par les grands modèles. En tant que chemin le plus court entre les grands modèles d'IA et les scénarios industriels, l'industrie du cloud computing a naturellement attiré beaucoup d'attention dans la vague des grands modèles. À ce stade, les fournisseurs de cloud sont entrés les uns après les autres dans l'industrie des grands modèles et ont exploré les possibilités que les grands modèles apportent à l'industrie du cloud computing sous plusieurs angles.

Mais nous avons tendance à ignorer un nœud aussi clé : le premier défi des grands modèles avec « des centaines de modèles et des milliers d’états » est la puissance de calcul de l’IA. Pour faire du bon travail dans les services de grands modèles, nous devons également faire du bon travail dans les services de puissance de calcul.

C’est dans la capacité la plus élémentaire de la puissance de calcul de l’IA que réside la véritable réponse à la manière dont les services cloud d’IA peuvent aller plus loin.

Le 21 septembre, lors de la Huawei Connected Conference 2023, le directeur général de Huawei et PDG de Huawei Cloud, Zhang Pingan, a prononcé un discours d'ouverture axé sur « Construire une base cloud pour un monde intelligent, laisser l'IA remodeler des milliers d'industries » et a publié le modèle Pangu en 2023. Services innovants dans les domaines de l'exploitation minière, des affaires gouvernementales, de l'automobile, de la météorologie, de la médecine, des personnes numériques, de la recherche et du développement, etc., et a annoncé le lancement officiel du service cloud Huawei Cloud Ascend AI, accélérant la réalisation d'avantages inclusifs à grande échelle pour des milliers d'industries. En se concentrant sur la mise en œuvre du grand modèle Pangu, le thème du partage Huawei Cloud cette fois est « résoudre des problèmes difficiles et faire des choses difficiles ». Rendre la puissance de calcul de l’IA utilisable, suffisante, facile à utiliser et d’une grande utilité est le premier problème résolu par Huawei Cloud.

À mesure que la puissance de calcul entre dans le pays, l’IA commence à décoller.

Afin de réaliser cette « chose difficile » importante, Shengteng AI Cloud Service s'est mis en place.

Les grandes montagnes et les rivières nécessitent une énorme puissance de calcul de l'IA

Depuis la révolution de l’information, les humains ont progressivement découvert que l’ampleur de l’innovation technologique est directement proportionnelle à la consommation de puissance de calcul. Cela a été une nouvelle fois confirmé par les grands modèles.

L'émergence et la maturité des grands modèles ont apporté de nouvelles opportunités à l'intelligence de milliers d'industries. On peut dire que chaque scène de chaque secteur mérite d'être intégrée dans le grand modèle, et même la plupart d'entre elles peuvent être remodelées par le grand modèle. Qu'il s'agisse des caractéristiques du grand modèle lui-même avec une grande échelle de modèle et de nombreux paramètres de données, ou de la demande émergente de grands modèles dans diverses industries, elles pointent toutes vers le même résultat : la puissance de calcul de l'IA consommée par le système de production sociale. va augmenter de façon exponentielle.

Les grands modèles nécessitent une grande puissance de calcul, ce qui est devenu un consensus dans l'industrie. Mais si nous ouvrons spécifiquement cette question, nous constaterons que les défis industriels autour de la puissance de calcul de l’IA sont très divers. Nous pouvons la résumer en quatre types : contradiction entre l’offre et la demande, les défis en matière d’efficacité énergétique, les besoins d’exploitation et de maintenance et les problèmes de sécurité.

Examinons d’abord le principal défi de la puissance de calcul de l’IA, à savoir le déséquilibre objectif entre l’offre et la demande.

En juillet 2023, un total de 130 grands modèles avaient été commercialisés en Chine. La « bataille des 100 modèles » a entraîné une énorme augmentation de la puissance de calcul de l’IA. Selon des rapports de données pertinents, la demande mondiale de puissance de calcul de l'IA a été multipliée par 300 000 au cours des 10 dernières années, et nous serons confrontés à une demande multipliée par 500 au cours des 10 prochaines années. Selon le « Rapport d'évaluation du développement de la puissance de calcul de l'intelligence artificielle en Chine 2022-2023 », la quantité totale de calcul d'IA réalisée en Chine en 2022 a dépassé l'informatique générale. Dans un avenir prévisible, la puissance de calcul de l’IA deviendra la forme informatique la plus demandée dans tous les horizons, l’écart entre l’offre et la demande le plus grand et l’informatique la plus limitée en ressources.

Deuxièmement, les grands modèles et la grande puissance de calcul posent de graves problèmes d'efficacité énergétique.

Étant donné que la formation de grands modèles nécessite un calcul d'IA en cluster, ses tâches de formation dépendent fortement des centres de données. La densité de puissance des serveurs d'IA dépasse de loin celle des serveurs ordinaires, et la consommation électrique d'une seule armoire est 6 à 8 fois plus élevée que par le passé. . Dans le contexte du double carbone, le taux d'efficacité énergétique des centres de données doit continuer à baisser. Par conséquent, le problème de l'efficacité énergétique informatique provoqué par les grands modèles est devenu urgent. Comment parvenir à un équilibre entre l’amélioration de la puissance de calcul de l’IA et la diminution du taux d’efficacité énergétique est devenu un problème auquel l’industrie doit faire face.

De plus, nous devons également constater une série de problèmes d’exploitation et de maintenance lors du processus d’application de la puissance de calcul de l’IA. Étant donné que les objectifs de formation et de déploiement des grands modèles sont différents et que leurs environnements de formation et de déploiement respectifs sont également très différents, des problèmes d'exploitation et de maintenance tels que le retard du réseau, la fiabilité du modèle et les seuils de gestion de l'exploitation et de la maintenance surgiront naturellement au cours de la période. Par exemple, certains grands modèles nécessitent des clusters de puissance de calcul extrêmement importants pour les prendre en charge, et des problèmes surviennent souvent dans la coordination entre un grand nombre de serveurs et d'unités de calcul. Lorsqu'un problème survient avec l'unité de calcul, les développeurs doivent recommencer la formation. L'énorme coût en temps, en talents et en puissance de calcul dans la formation de grands modèles est dû aux échecs et redémarrages fréquents des tâches de formation. Par conséquent, les grands modèles nécessitent non seulement une puissance de calcul IA suffisante, mais également des services de puissance de calcul sophistiqués pour aider les utilisateurs à réduire les problèmes globaux d’exploitation et de maintenance.

Enfin, on constate également que les grands modèles apportent de nouveaux problèmes de sécurité.

Étant donné que les scénarios de déploiement des grands modèles sont principalement liés à l’économie nationale et aux moyens de subsistance des populations, tous les risques pour la sécurité doivent être éliminés. Dans des domaines tels que l’accès aux données, le cryptage du stockage et la sécurité des transmissions, les grands modèles présentent encore de nombreux risques de sécurité.

Dans l’ensemble, les grands modèles ne sont pas des produits très cohérents. Sa classification technique est complexe et les parcours d'ingénierie sont modifiables, et chaque utilisateur doit également affiner et personnaliser le grand modèle en fonction de ses propres besoins. Ces problèmes donnent aux grands modèles des demandes différenciées pour les services de puissance de calcul de l’IA sous de multiples aspects et angles.

Répondre aux exigences de puissance de calcul de l'IA des grands modèles est devenue la première question test à l'ère des grands modèles.

Rendre les services cloud Shengteng AI pratiques, raffinés et compétitifs

Pour Huawei Cloud, pour bien répondre à la question de la puissance de calcul, il doit prendre en compte deux aspects de la construction : L'un est de savoir comment rendre la puissance de calcul de l'IA suffisante et disponible, et l'autre est de savoir comment étendre la puissance de calcul des services en fonctionnement. et les défis de maintenance, de sécurité et d’efficacité énergétique, etc. La puissance de calcul de l’IA doit être à la fois pratique et précise.

En juillet de cette année, Huawei Cloud a lancé le dernier service cloud Ascend AI, qui peut fournir une puissance de calcul IA croissante aux utilisateurs de milliers de secteurs. Derrière cela se cache la solide construction de l’infrastructure informatique de Huawei Cloud.

Jusqu'à présent, Huawei Cloud a construit trois grands centres informatiques d'IA à Gui'an, Ulanqab et Wuhu. Sur cette base, le service cloud Shengteng AI a atteint un cercle de latence de 20 ms dans tout le pays. Les utilisateurs peuvent accéder à proximité, et une seule fibre optique peut se connecter à la puissance de calcul croissante de l'IA, et le service peut être utilisé immédiatement. Afin de garantir la sécurité du cycle de vie complet des données de formation de grands modèles, le service cloud Shengteng AI adopte également plusieurs technologies telles que le cryptage de la transmission et du stockage des données, l'effacement de la sécurité des données, le contrôle d'accès aux données et le filigrane des données pour éviter les fuites. Il convient de noter que, que ce soit pour les entreprises ou la société dans son ensemble, les services cloud constituent le moyen le plus économe en énergie d’obtenir la puissance de calcul de l’IA à l’ère du double carbone.

Afin d'atteindre les performances ultimes de la puissance de calcul de l'IA, Huawei Cloud a également procédé à une optimisation technique des services cloud d'IA au-dessus de l'infrastructure. Par exemple, ModelArts fournit une accélération à trois couches des données, de la formation et de l'inférence. Grâce à la technologie d'accélération des données DataTurbo, il peut utiliser les ressources de stockage des nœuds informatiques pour créer un cache distribué, réduisant ainsi la latence de lecture des données à moins de millisecondes. La technologie d'accélération de la formation TrainTurbo peut réduire le temps de lecture des données de 50 % lorsque les données de formation dépassent 100 T et améliorer l'efficacité globale de la formation de plus de 20 %. Dans le processus d'inférence du modèle, la technologie d'accélération d'inférence InferTurbo accélère l'inférence de modèle grâce à la technologie de compilation de graphiques et améliore de 30 % les performances d'inférence des grands modèles grâce à l'optimisation collaborative verticale à lien complet.

Avec la prise en charge d'une infrastructure et d'une technologie de base aussi puissantes, les utilisateurs peuvent obtenir les performances informatiques ultimes de l'IA Afin de rendre la puissance de calcul non seulement « suffisante » mais également « facile à utiliser », Huawei Cloud a réalisé une série de « . rendre la puissance de calcul de l'IA plus efficace". Exploration "Essence".

Par exemple, le développement de l'IA s'appuie sur des outils et des plateformes complets. Derrière le service cloud Ascend AI, Huawei continue de construire une série d'outils de développement et de plates-formes technologiques sous-jacents à l'IA, tels que l'architecture informatique hétérogène CANN, le cadre d'IA à scénario complet MindSpore et la ligne de production de développement d'IA ModelArts. , pour fournir une accélération parallèle distribuée pour les grands modèles. Des fonctionnalités clés telles que l'optimisation des opérateurs et de la compilation et l'optimisation des communications au niveau du cluster constituent la base des services de puissance de calcul de l'IA.

Comme mentionné ci-dessus, dans le processus de formation et de déploiement de grands modèles, nous sommes également confrontés à une série de problèmes d'exploitation et de maintenance, d'efficacité énergétique et d'autres problèmes. En termes d'optimisation des services de puissance de calcul, Ascend AI Cloud Service peut fournir des services de puissance de calcul d'IA plus longs et plus stables. Le taux de stabilité à long terme sur 30 jours de l'entraînement en kilocalories atteint 90 %. Démarcation de 2 heures et mise à disposition de 24 heures Solution : Le temps de récupération du point d'arrêt ne dépasse pas 10 minutes et le temps de récupération des tâches est inférieur à une demi-heure.

En termes de migration de modèles, Huawei Cloud fournit aux utilisateurs une chaîne d'outils de migration et intègre des outils de développement complets, qui peuvent atteindre une efficacité de migration de modèle typique en seulement 2 semaines et une migration en libre-service dans des scénarios courants. De plus, le service cloud Ascend AI est également adapté aux grands modèles open source grand public de l'industrie, tels que LAMA, Stable Diffusion, etc., permettant ainsi véritablement au service cloud Ascend AI de répondre aux besoins de « divers modèles et des milliers d'états » de grands modèles.

Pour les athlètes, la compétence de base est la compétitivité. Sur la voie du cloud + grand modèle, Huawei Cloud a également développé la puissance de calcul de l'IA pour devenir compétitif grâce à l'intégration de l'infrastructure, de la technologie et des services.

La puissance de calcul de l’IA facile à utiliser de Paper est la pierre angulaire de l’industrialisation des grands modèles et le début de toutes les histoires.

Puissance de calcul, technologie, scénarios : construire un grand cycle positif modèle

Face à l’énorme opportunité intelligente des grands modèles, les utilisateurs de milliers d’industries ont des besoins énormes et différenciés. Certaines personnes manquent de puissance de calcul, d’autres ont besoin de modèles, d’autres recherchent des scénarios et d’autres encore ont besoin de l’aide d’outils techniques spécifiques. L’absence d’une condition empêchera le volant d’inertie du grand modèle de tourner.

En regardant les choses sous un autre angle, l'application basée sur des scénarios de ressources informatiques, d'outils techniques et de modèles peut toutes devenir des points d'appui. Ces éléments peuvent aider les utilisateurs professionnels et les développeurs à s'engager sur la voie de grands modèles grâce à une coopération complète et à une promotion mutuelle.

Le service cloud Shengteng AI fourni par Huawei Cloud dispose non seulement d'une puissance de calcul IA utilisable, suffisante et facile à utiliser, mais peut également être lié à une série de configurations de Huawei Cloud pour rendre désormais les grands modèles « utiles » , réalisant ainsi conjointement l'ère Pangu. Les modèles résolvent des problèmes difficiles et font des choses difficiles.

Par exemple, nous pouvons constater que de nombreuses innovations technologiques et les services cloud Ascend AI se complètent et résolvent conjointement le défi de la forte demande de puissance de calcul de l'IA et des difficultés d'approvisionnement. La nouvelle architecture distribuée QingTian de Huawei Cloud a un tel effet.

Les besoins en puissance de calcul des applications de grands modèles représentés par l'AIGC dépendent fortement des capacités de calcul distribuées, ce qui pose également de nouveaux défis à l'architecture de puissance de calcul. En tant que nouvelle génération d'architecture peer-to-peer, l'architecture distribuée QingTian peut faire évoluer le cluster informatique traditionnel du centre de données vers un cluster de systèmes mutualisés peer-to-peer basé sur des bus à haut débit, brisant ainsi les limitations de performances d'un seul composant et réaliser une collaboration, une gestion et un contrôle logiciels et matériels, un déchargement complet, aucune perte de ressources et de performances, et finalement offrir aux utilisateurs l'expérience ultime en termes de performances, de fiabilité, de sécurité et de fiabilité.

En outre, Huawei Cloud a également réalisé des innovations technologiques dans une série de domaines tels que le stockage cloud de l'IA, la base de données vectorielles GaussDB, la fusion de l'intelligence numérique, la suite d'ingénierie de grands modèles Serverless+, etc., en se concentrant sur les besoins en constante évolution de l'IA, du La couche d'architecture système jusqu'au traitement des données. La couche, la couche de formation de modèles et la couche de développement d'applications réalisent une innovation systématique, éliminant ainsi les obstacles empêchant les utilisateurs d'utiliser les services cloud d'IA et permettant à la puissance de calcul de l'IA de véritablement s'aligner sur les besoins basés sur des scénarios de milliers d'utilisateurs. industries.

En plus de la puissance de calcul de base de l'IA et d'une série d'innovations technologiques, il existe la série de grands modèles Pangu fournie par Huawei Cloud. Lors de la Huawei Full Connection Conference 2023, nous pouvons également voir que le grand modèle Pangu a été mis en œuvre dans des scénarios plus approfondis dans l'industrie.

Dans l'industrie automobile, les grands modèles de Pangu Automobile peuvent couvrir la conception, la production, le marketing, la R&D et d'autres aspects des constructeurs automobiles, et jouer une valeur unique dans des domaines tels que la formation à la conduite autonome et la mise en œuvre de scènes spéciales. Dans le domaine de la conduite autonome, le grand modèle de Pangu Automobile peut construire un espace jumeau numérique de la scène basé sur les photos et vidéos collectées à partir de la scène réelle, en ajoutant des objets mobiles, des conditions météorologiques modifiables, un éclairage, etc., pour générer des échantillons de scène pour la conduite autonome. apprentissage de la conduite. Dans des scénarios d'exploitation tels que les ports et les zones minières, l'algorithme de contrôle multi-scénarios et multi-véhicules du grand modèle de Pangu Automobile peut rendre l'erreur latérale d'un camion lourd de 60 tonnes inférieure à 0,2 mètre et l'erreur d'amarrage précise inférieure à 0,1 mètre. . Actuellement, 23 camions lourds sans pilote opèrent 24 heures sur 24 dans les mines de l'industrie minière de Jiangna au Xinjiang et de la mine de charbon à ciel ouvert de Yimin en Mongolie intérieure.

Dans le domaine de la diffusion en direct + des personnes numériques, le modèle du Congrès populaire numérique de Pangu est pré-entraîné sur la base de compétences vocales de diffusion en direct de haute qualité de niveau 100 000, et peut générer automatiquement des compétences vocales professionnelles pour présenter des produits avec précision et fluidité. capturez également automatiquement les barrages et le public interactif en temps réel. À Danzhai, dans le Guizhou, le modèle de PNJ numérique Pangu a permis de faire connaître le batik, une industrie du patrimoine immatériel, au monde.

Pour résumer, il n'est pas difficile de constater que Huawei Cloud a formé un « cycle positif de grand modèle » avec la puissance de calcul de l'IA comme base, l'innovation technologique comme moteur et l'intégration du grand modèle Pangu dans les scénarios industriels. La puissance de calcul de ThePaper AI peut favoriser l'utilisation de grands modèles ; l'innovation technologique continuera à abaisser le seuil des grands modèles ; les scénarios industriels conduiront à la mise en œuvre à grande échelle de grands modèles ; La puissance de calcul favorise le développement de scénarios et de technologies ; le progrès technologique permet de libérer pleinement la puissance de calcul et la valeur des scénarios est explorée en profondeur ; les progrès des scénarios piloteront la construction de la puissance de calcul et mèneront au progrès technologique. Les trois vont de l’avant, attirant des milliers d’industries à chercher des réponses aux grands modèles sur le cloud.

Basé sur la puissance de calcul et utilisant la puissance de calcul comme clé, laissez l'IA s'intégrer dans les montagnes et les rivières - telle est la chanson à long terme de l'IA de Huawei Cloud.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!