ChatGPT, qui a généré 10 milliards de dollars américains, est-il si dépendant de TA ?

Ces derniers jours, la nouvelle selon laquelle « Microsoft investit des dizaines de milliards de dollars dans OpenAI » a inondé l'écran comme une folle.

En tant qu'entreprise sans business model, comment OpenAI peut-elle être valorisée à des dizaines de milliards de dollars ? Les investisseurs sont-ils si faciles à tromper ?

En fait, si vous retirez le ChatGPT derrière OpenAI, tout le monde peut le comprendre plus ou moins. Ce modèle de langage est « de premier ordre », et on peut dire que personne ne le connaît récemment.

Et Microsoft, qui est proche du sommet, a discrètement pris la tête de la mêlée des géants de l'Internet.

Je viens de dire que ChatGPT sera intégré à son propre moteur de recherche Bing, puis j'ai publié la bombe selon laquelle ChatGPT envisage de rejoindre le « compartiment familial » d'Office.

La révolution AIGC a de nouveau atteint le stade de la puissance de calcul

2022 est la première année de la révolution AIGC.

La naissance de DALL·E 2 a rendu populaire "Vincent Pictures" pendant une année entière, suivi de près par Stable Diffusion et Midjourney, qui ont inspiré d'innombrables personnes, et ont même fait ressentir à de nombreux peintres la "crise du chômage" ».

À la fin de l'année, ChatGPT a déclenché une tempête AIGC parmi la population. Même s'il s'agissait de la finale, la magie apportée par « l'apprentissage par renforcement » (RLHF) a réussi à déclencher un carnaval national.

Bien que les applications que nous venons de mentionner puissent paraître fantaisistes, elles sont toujours prises en charge par de grands modèles bien connus.

Comme nous le savons tous, pour les grands modèles, qu'il s'agisse d'une formation précoce ou d'une inférence ultérieure, une énorme quantité de « puissance de calcul » est indissociable.

Par exemple, le « poulet frit populaire » ChatGPT et DALL·E 2 sont basés sur GPT-3, ainsi que les Yuan 1.0, Wudao et Wenxin, etc., développés par nous-mêmes, ont non seulement atteint les paramètres des centaines de milliards, et la taille de l'ensemble de données est aussi élevée que le niveau de la To.

Si vous souhaitez gérer l'entraînement de ces "monstres", vous devez investir au moins plus de 1000PetaFlop/s-jour (PD) de ressources informatiques.

Il n’est pas étonnant qu’avant d’affiner GPT-3, OpenAI ait demandé à Microsoft de dépenser 1 milliard de dollars pour personnaliser exclusivement un supercalculateur qui était alors classé parmi les cinq meilleurs au monde.

Mais le problème est que toutes les entreprises ou universités qui ont besoin de beaucoup de puissance de calcul en matière d'IA ne peuvent pas se permettre de dépenser d'énormes sommes d'argent pour construire leur propre « centre de calcul haute performance à intelligence artificielle ».

Donc, si nous changeons notre façon de penser et rendons la puissance de calcul plus « universelle et bénéfique », pouvons-nous obtenir des résultats identiques ou meilleurs ?

Ainsi, en décembre 2020, le Centre national d'information et Inspur Information ont publié conjointement le « Guide de planification et de construction du centre de calcul intelligent ». Parmi eux, un tout nouveau concept a été mentionné : le centre de calcul intelligent (intelligent computing center en abrégé).

Qu'est-ce que le Centre de Calcul Intelligent ?

Afin de mieux résoudre les problèmes dans le domaine de l'intelligence artificielle, le développement de centres informatiques intelligents doit être basé sur la dernière théorie de l'IA et l'architecture informatique avancée de l'IA, et utiliser des puces IA, des serveurs IA et des clusters IA comme supports. de puissance de calcul.

Tout d'abord, l'informatique accélérée par l'IA grand public actuelle utilise principalement des systèmes CPU équipés de puces d'accélération de l'IA hétérogènes telles que GPU, FPGA et ASIC.

En raison du grand nombre d'unités arithmétiques et logiques (ALU) dans la puce GPU initialement conçue pour les calculs graphiques, elle peut fournir un bon effet d'accélération pour les calculs d'apprentissage en profondeur basés sur des calculs tensoriels, elle est donc largement accueillie par le monde universitaire et l'industrie.

Avec des applications de plus en plus approfondies, la puce GPU elle-même a également réalisé des conceptions innovantes ciblées basées sur les caractéristiques informatiques de l'IA, telles que l'unité de calcul tensoriel, la précision numérique TF32/BF16, le moteur Transformer ( Moteur de transformateur) etc.

La puce d'accélération informatique IA plus "spécifique" est principalement dérivée des puces GPU.

Puce de formation à l'intelligence artificielle Tesla Dojo

Deuxièmement, en tant que serveur IA de l'unité informatique du centre de calcul intelligent, il adopte l'architecture hétérogène de la puce d'accélération CPU+AI. l'intégration de plusieurs puces d'accélération IA permet d'obtenir des performances informatiques ultra-élevées. Afin de répondre aux besoins informatiques de scénarios dans divers domaines et de modèles d'IA complexes, les serveurs d'IA ont également des exigences extrêmement élevées en matière d'interconnexion et d'évolutivité entre les puces informatiques.

Enfin, le centre de calcul intelligent doit également fournir un support complet à l’écosystème logiciel grand public, open source et ouvert de l’industrie.

Par exemple, les frameworks d'apprentissage profond TensorFlow et PyTorch pour développer des algorithmes d'IA, une série de bibliothèques open source conçues pour s'adapter au développement de scénarios spécifiques tels que CV et NLP, etc.

La structure globale du centre de calcul intelligent

Cependant, contrairement aux centres de calcul haute performance personnalisés par les grands fabricants étrangers, le centre de calcul intelligent est en réalité une infrastructure destinée au public, meilleure pour Résolvez le problème de l’impossibilité de construire ou d’utiliser de la puissance de calcul.

Le plus intuitif est que l'Intelligent Computing OS (Intelligent Computing Center Operating System) en tant que « centre nerveux » doit permettre au Centre informatique intelligent de gérer efficacement et de planifier intelligemment le pool de ressources informatiques, afin de mieux fournir puissance de calcul, données, algorithmes et autres services vers le monde extérieur.

Maintenant, deux ans se sont écoulés depuis la sortie de la version 2020 du « Guide de planification et de construction des centres informatiques intelligents », et le développement des centres informatiques intelligents de mon pays est également entré dans une nouvelle étape.

À cette fin, le Centre national d'information et Inspur Information ont mené conjointement des recherches qui s'adaptent à leur temps et ont lancé la mise à jour du "Guide de développement innovant pour les centres informatiques intelligents" (ci-après dénommé " guide").

Alors, pourquoi construire un centre de calcul intelligent ?

Le Centre informatique intelligent est une infrastructure clé qui favorise la transformation et la modernisation industrielles, optimise la structure industrielle et améliore la compétitivité urbaine à l'ère de l'économie numérique, et fournit un soutien essentiel à la demande croissante de puissance de calcul de l'intelligence artificielle.

Plus précisément, il peut être divisé en quatre aspects :

​ Promouvoir l'industrialisation de l'IA, autonomiser l'IA industrielle, contribuer à une gouvernance intelligente et promouvoir le regroupement industriel.

• Industrialisation de l'IA

Un exemple important d'industrialisation de l'IA est la conduite autonome.

Dans le scénario de la conduite autonome, elle doit être basée sur la technologie de l'IA afin que le véhicule puisse identifier avec précision les informations clés dans l'environnement de conduite comme un conducteur humain et prédire la trajectoire potentielle des unités en mouvement environnantes.

En termes de consommation d'énergie de calcul d'entraînement, le modèle cognitif utilisé pour la conduite autonome est beaucoup plus grand que le modèle général de perception de la vision par ordinateur.

Par exemple, le modèle de perception de fusion de conduite autonome FSD de niveau L2 de Tesla utilise des millions de vidéos de collecte de routes pendant le processus de formation, et l'investissement en puissance de calcul est d'environ 500PD.

De plus, à mesure que le niveau de conduite autonome passe de L2 à L4, la demande de puissance de calcul va encore augmenter.

À cet égard, la puissance de calcul inclusive fournie par le centre de calcul intelligent peut réduire considérablement le coût de la puissance de calcul requise pour la conduite autonome.

• IA industrielle

En 2022, il existe un concept très populaire appelé « IA for Science ».

Il s'agit d'un nouveau paradigme de recherche scientifique, qui fait référence aux scientifiques utilisant la technologie de l'IA comme outil de production.

L'un des exemples les plus connus d'IA pour la science cette année est AlphaFold 2 développé par DeepMind.

Jusqu'à présent, AlphaFold 2 peut prédire plus de 200 millions de structures protéiques, couvrant presque tout « l'univers protéique ». Grâce à AlphaFold 2, le temps de prédiction d'une seule structure protéique a été réduit à quelques minutes et la précision a atteint 92,4 %.

Le développement d'AlphaFold 2 s'appuie sur d'énormes quantités de puissance de calcul. Rien que dans la phase de préparation des données de formation, AlphaFold 2 a consommé environ 200 millions d'heures de base de puissance de calcul du processeur et environ 300 PD de puissance de calcul de l'IA pendant le processus de formation.

Le centre de calcul intelligent, très adapté aux besoins en puissance de calcul de l'IA pour la science, deviendra une infrastructure importante qui soutient la recherche scientifique de haute qualité dans les universités et les instituts de recherche.

• Gouvernance intelligente​

De plus, le centre informatique intelligent peut également fournir un support de capacité informatique intelligente pour les services publics urbains et la gouvernance intelligente.

• Clustering industriel

Le centre informatique intelligent peut regrouper les avantages locaux de R&D en intelligence artificielle, les avantages en matière de talents, les avantages en matière de produits et les investissements industriels pour réaliser une collaboration dans la chaîne industrielle et promouvoir le développement de grappes industrielles.

Chaîne industrielle des centres de calcul intelligents

Aujourd'hui, les centres de calcul intelligents sont devenus une infrastructure clé pour améliorer la compétitivité internationale.

Nous savons tous que l’indicateur du PIB par habitant peut mesurer le développement économique d’un pays, et que le niveau de puissance de calcul par habitant peut également mesurer le niveau d’intelligence d’un pays.

Selon le « Rapport d'évaluation de l'indice mondial de puissance de calcul 2021-2022 », l'indice national de puissance de calcul a une corrélation positive significative avec la tendance du PIB. Pour chaque augmentation de 1 point de l'indice de puissance de calcul en moyenne, le numérique. L'économie et le PIB augmenteront respectivement de 3,5 points ‰ et 1,8‰

Tendance de l'analyse de régression de l'indice de puissance de calcul et du PIB

Selon les recherches et les calculs, au cours du « 14e plan quinquennal ». " Période, lorsque le centre informatique intelligent atteint un niveau d'application de 80 %, l'investissement de la ville dans les centres informatiques intelligents peut stimuler la croissance des industries de base de l'intelligence artificielle d'environ 2,9 à 3,4 fois et des industries connexes d'environ 36 à 42 fois. La croissance des investissements La contribution de la construction de centres informatiques intelligents par les villes/régions à la production d'innovation est d'environ 14 à 17 %.

Il n'est pas difficile de constater que le centre de calcul intelligent est devenu une force incontournable pour le développement économique urbain.

Les avantages économiques et sociaux du projet de centre de calcul intelligent

Pour ces raisons, dès que le concept de centre de calcul intelligent a été proposé, il a déclenché un boom de la construction. Selon les statistiques, plus de 30 villes à travers le pays construisent actuellement ou proposent de construire des centres informatiques intelligents.

Cependant, des problèmes surviennent également

On ne peut ignorer que pendant le processus de construction en plein essor, ces centres informatiques intelligents ont également exposé de nombreux problèmes et défis.

Tout d’abord, la demande de notre pays en puissance de calcul intelligente augmente de jour en jour.

Les données du « Rapport d'évaluation du développement de la puissance de calcul de l'intelligence artificielle en Chine 2022-2023 » montrent que l'échelle de la puissance de calcul intelligente de mon pays atteindra 155,2 EFLOPS (FP16) en 2021. On s'attend à ce que d'ici 2026, l'échelle de La puissance de calcul intelligente de mon pays atteindra 1 271,4 EFLOPS.

À l'avenir, 80 % des scénarios seront basés sur l'IA, et la plupart des ressources informatiques qu'ils occupent seront portées par des centres de calcul intelligents.

Le développement de la puissance de calcul intelligente en Chine

Deuxièmement, le modèle de service entourant l'algorithme doit également être amélioré.

Depuis 2011, des entreprises et des instituts de recherche leaders mondiaux en IA se sont joints à la recherche sur de grands modèles d'IA, et les paramètres des modèles ont considérablement augmenté. En seulement trois ou quatre ans, l'échelle des paramètres est rapidement passée de milliards à des milliards, et de nombreux grands modèles représentatifs ont émergé, tels que BERT publié par Google, GPT-3 publié par OpenAI, etc.

Le changement du paradigme informatique traditionnel favorisera également inévitablement la transformation du modèle de service des centres de calcul intelligents, passant de la fourniture principale de puissance de calcul à la fourniture d'un « algorithme + puissance de calcul ».

Enfin, les problèmes actuels tels qu'une compréhension conceptuelle peu claire, des normes de construction incohérentes, des scénarios d'application insuffisants et des modèles d'exploitation immatures affectent également directement le développement de centres de calcul intelligents.

Comment le résoudre ?

À cet égard, les solutions proposées par le « Guide » sont : 1 Universelle et universellement bénéfique2. Ouverte et compatible.

Parlons d’abord de ce que signifie « prestation universelle universelle ». ​Universel et inclusif signifie faire jouer pleinement la valeur sociale des infrastructures publiques, qui doivent non seulement répondre aux besoins des utilisateurs en puissance de calcul générale, mais également répondre aux besoins des différents utilisateurs en informatique diversifiée puissance dans différents scénarios.

Plus précisément, les centres informatiques intelligents devraient se développer dans le sens de la standardisation, du faible coût et du faible seuil, afin que l'informatique intelligente puisse devenir un service public de base dans la société comme l'eau et l'électricité, et répondre aux divers besoins des différents utilisateurs pour puissance de calcul dans différents scénarios.

Deuxièmement, il doit être "ouvert et compatible". ​ Concrètement, il s'agit d'ouvrir le source et de cultiver l'écosystème. Il se concentre principalement sur le matériel ouvert et les logiciels open source, intègre plusieurs puissances de calcul et réalise l'agrégation, la planification et la libération de la puissance de calcul, afin que le centre de calcul intelligent puisse « l'utiliser et bien l'utiliser ». Dans le même temps, il est nécessaire de renforcer le soutien à la recherche et au développement et la promotion des applications à grande échelle des produits logiciels et matériels clés du centre de calcul intelligent.

Architecture de construction de centre informatique intelligent

Afin de réaliser le bénéfice universel et l'utilisation efficace des services de puissance de calcul, c'est-à-dire comment le centre de calcul intelligent peut être « facile à utiliser et mis à profit », le « Guide » souligne que la construction d'un système informatique intelligent les centres doivent également construire "Puissance de calcul La voie technique des "quatre modernisations" est "une infrastructure basée sur l'infrastructure, une infrastructure basée sur des algorithmes, l'intelligence des services et l'écologisation des installations".

Construction d'infrastructures informatiques signifie que le centre informatique intelligent doit avoir la capacité de fournir des ressources informatiques rentables, inclusives et sûres au monde extérieur, afin que la puissance de calcul de l'IA devienne une ressource publique dans la ville comme l’eau et l’électricité. Des ressources de base que les gouvernements, les entreprises et le public peuvent utiliser de manière indépendante.

Infrastructure d'algorithmes fait référence au centre de calcul intelligent fournissant des algorithmes industriels prédéfinis, construisant de grands modèles pré-entraînés, promouvant des mises à niveau continues des modèles d'algorithmes et fournissant des services professionnels de données et d'algorithmes pour permettre à davantage d'utilisateurs de bénéficier d'un accès universel. et des services informatiques intelligents inclusifs pour obtenir l'effet « d'apporter des données et de repartir avec des résultats » :

Service Intelligence signifie que le développement des centres informatiques intelligents sera transformé du traditionnel Le matériel et les logiciels sont mis à niveau aux « smartware » « Smartware » fait référence aux produits et services middleware fournis par l'Intelligent Computing Center pour promouvoir l'application de l'intelligence artificielle. La construction de « smartware » offre aux utilisateurs des services de planification de puissance de calcul d'intelligence artificielle riches en fonctionnalités et faciles à utiliser, de fourniture d'algorithmes et de services de développement personnalisés via des interfaces d'opération visuelles et des modèles de développement low-code ou même sans code.

Enfin, nous devons également réaliser des installations vertes La principale tendance de développement actuelle est l'utilisation de la technologie de refroidissement liquide.

Regard vers l'avenir

Maintenant, les scénarios émergents représentés par l'AIGC, le Metaverse et l'IA for Science entrent dans notre vie quotidienne, apportant des possibilités illimitées à notre avenir.

En conséquence, une vague de construction et d'aménagement de centres informatiques intelligents augmente rapidement à travers le pays.

Le bénéfice universel de la puissance de calcul intelligente a considérablement abaissé le seuil d'innovation pour la plupart des entreprises, en particulier les petites et moyennes entreprises.

Je crois que dans un avenir proche, nous assisterons bientôt à « la saisie de données et la production d'intelligence ». L'informatique intelligente sera comme l'eau et l'électricité, bénéficiant réellement à tout le monde.

Lien du rapport : ​

​http://scdrc.sic.gov.cn/archiver/SmarterCity/UpFile/Files/Default/20230111181640567177.pdf​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!