ChatGPT a un double impact sur la puissance de calcul

ChatGPT a été un sujet brûlant ces derniers mois. La raison de sa popularité continue est la demande croissante de puissance de calcul pour la technologie de génération automatique de contenu d'intelligence artificielle. D'une part, ChatGPT a stimulé la croissance de la demande de puissance de calcul. D'autre part, ChatGPT a mis en avant des exigences plus élevées en matière de prise en charge de la puissance de calcul.

Les données montrent que la consommation totale d'énergie de calcul requise pour une formation sur le modèle ChatGPT est de 3640PF-jours, ce qui coûte environ 12 millions de dollars américains, et pendant l'opération processus Une surcharge considérable est nécessaire. Selon le rapport de Guosheng Securities, sur la base d'un nombre moyen de visiteurs uniques sur ChatGPT en janvier de 13 millions, la demande de puces correspondante est supérieure à 30 000 GPU Nvidia A100, le coût approximatif de la puissance de calcul est de 800 millions de dollars américains et la consommation quotidienne d'électricité le coût est de 50 000 dollars américains. ChatGPT a reçu un investissement de 13 milliards de dollars de Microsoft, ce qui constitue le soutien de confiance derrière son investissement élevé dans la puissance de calcul. C'est précisément avec le soutien total du géant de la technologie Microsoft, depuis les fonds, les marchés futurs jusqu'à l'infrastructure informatique (cloud Azure), qu'OpenAI peut mener à bien un projet aussi énorme en tant qu'entreprise entrepreneuriale indépendante. Les besoins en puissance de calcul sont étroitement liés à l'ampleur des paramètres. L'ampleur des paramètres est également une référence importante pour mesurer actuellement la qualité de la formation de grands modèles. Plus le nombre de paramètres est grand, plus le modèle est intelligent et plus la surcharge qui l’accompagne est importante. Cela constitue la caractéristique du seuil élevé pour le type GPT. La version précédente de GPT-3 était open source, ce qui permettait à d'autres entrepreneurs d'effectuer plus facilement de nouveaux travaux de recherche et développement basés sur celle-ci. À partir de GPT-4, l’API ouverte OpenAI facture en fonction du trafic d’octets. Qu'il s'agisse de développement d'applications ou de développement de modèles secondaires basés sur cela, le seuil est élevé.

Le plus intéressant est la fuite du code source LLaMA de la société Meta. En conséquence, le grand modèle dit "Llama Family" ("Llama" peut être traduit par "Alpaca") a émergé. Les développeurs qui souhaitent obtenir des ressources open source peuvent bénéficier d'une nouvelle option en plus de GPT-3.

La forte dépendance des « grands modèles » à la puissance de calcul a au moins deux impacts majeurs.

Premièrement, il ne s'agit plus d'un jeu d'entrepreneuriat « de base », ni d'un jeu de « copie en Chine » de l'entrepreneuriat Internet du passé, mais d'une compétition de capacités de base de « vraies épées et de vraies armes", du capital, une évaluation globale de la technologie à la détermination stratégique de l'entreprise. Dans l'ère industrielle traditionnelle, la Chine est partie de l'industrie de transformation et est progressivement passée à la recherche et au développement de technologies de base à haute valeur ajoutée. Cependant, en fait, elle est encore loin du niveau le plus avancé d'Europe et des États-Unis. . L’écart reste important, en particulier dans des catégories telles que la science des matériaux, qui nécessitent une accumulation technique à long terme.

À l'entrée de l'ère numérique, le consensus parmi les cercles industriels chinois est désormais de commencer directement par la recherche et le développement des technologies de base.

Les États-Unis et la Chine ont tendance à devenir moins dépendants l'un de l'autre en matière de science et de technologie. Même si seule l'industrie des puces est actuellement limitée, si les « grands modèles » deviennent un facteur de production, nous serons certainement confrontés au même problème. Par conséquent, la Chine doit disposer de sa propre technologie de base « grand modèle ». Conscientes de cette fatalité, les entreprises technologiques chinoises ont également tendance à investir massivement dans les « grands modèles ».

Si les petites et moyennes entreprises technologiques ne sont pas en mesure de développer des « grands modèles » natifs, elles peuvent utiliser les modèles open source de GPT-3 ou LLaMA pour le développement ou le développement secondaire afin de former leur propre « grand » modèles". Les sociétés de développement d'applications développent rarement des « grands modèles » natifs. À moins d'avoir une confiance extrêmement élevée dans le marché de vente de leurs applications, elles succomberont à d'énormes pressions sur les coûts de puissance de calcul et paieront à la place des frais d'utilisation d'API pour développer des applications associées à l'aide de modèles prêts à l'emploi. .

Deuxièmement, la construction des « Nombres orientaux et comptage occidental » arrive au bon moment et pourrait ouvrir la voie à de grandes opportunités commerciales.

La région de l'Ouest est riche en ressources « d'énergie verte ». Dans le cadre du plan global « Eastern Digital and Western Counting », le hub ouest est principalement responsable du stockage de secours ; dans les villes intelligentes, l'Internet industriel et les services Internet sont gérés au niveau du hub de la région orientale. Le « grand modèle » a d'énormes besoins en puissance de calcul. L'IDC oriental occupe des ressources en puissance de calcul à grande échelle, ce qui présente trois inconvénients majeurs : un coût élevé (factures d'électricité élevées à l'est), des émissions élevées (faible proportion d'électricité verte à l'est). à l’est) et en éliminant la puissance de calcul pour les applications nécessitant de faibles ressources de latence, ce qui crée de nouvelles opportunités commerciales pour les centres de puissance informatique de l’ouest.

D'une part, placer les calculs de formation des « grands modèles » dans les IDC de la région occidentale présente des exigences plus élevées en matière d'amélioration des performances du réseau de communication local. Le débit massif de données est un problème qui doit être résolu, mais le coût de la résolution de ce problème est bien inférieur à la différence entre les frais d'utilisation d'IDC.

D'un autre côté, les géants des entreprises technologiques ont mis en avant leurs propres objectifs ESG (responsabilité sociale environnementale), et les émissions de carbone sont l'indicateur le plus important. L'exploitation de « grands modèles » et d'une grande puissance de calcul produira une grande quantité d'émissions de carbone, et la demande de « puissance de calcul verte » deviendra plus urgente.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!