Derrière le grand modèle d'IA se cache une quantité étonnante d'émissions de carbone

Depuis que les modèles linguistiques à grande échelle comme ChatGPT sont devenus une sensation mondiale, peu de gens ont remarqué que la formation et l'exécution de modèles linguistiques à grande échelle génèrent des émissions de carbone stupéfiantes.

Bien que ni OpenAI ni Google n'aient indiqué quels sont les coûts de calcul de leurs produits respectifs, selon l'analyse de chercheurs tiers, la partie ChatGPT de la formation a consommé 1287 MWh et a abouti à plus de 550 tonnes d'émissions de dioxyde de carbone, ce qui équivaut à une personne voyageant 550 fois entre New York et San Francisco.

En fait, il ne s'agit que de l'émission lors de l'entraînement. Plus de dioxyde de carbone sera émis lorsque le grand modèle AI fonctionnera.

Martin Bouchard, co-fondateur de la société canadienne de centres de données QScale, estime que afin de répondre aux besoins croissants des utilisateurs de moteurs de recherche, Microsoft et Google ont ajouté l'IA générative telle que ChatGPT aux recherches, ce qui entraînera une augmentation d'au moins 4 à 5 fois le montant du calcul.

Si vous devez recycler fréquemment le modèle et ajouter plus de paramètres, l'échelle de calcul sera complètement différente.

Selon l'Agence internationale de l'énergie, les émissions de gaz à effet de serre des centres de données représentent déjà environ 1 % des émissions mondiales de gaz à effet de serre.

Ce nombre devrait augmenter à mesure que les grands modèles d'IA et la demande de cloud computing augmentent.

Les grands modèles d'IA deviennent une source importante d'émissions de carbone.

1. Réduire les émissions de carbone des grands modèles d'IA

Le processus de formation et d'exploitation des modèles d'IA consomme beaucoup d'énergie, mais la question clé est de savoir comment connaître et mesurer la quantité d'émissions de gaz à effet de serre d'une seule expérience d'apprentissage automatique. produit, et combien peut être réduit Combien ?

Actuellement, les data scientists ne peuvent toujours pas obtenir de résultats de mesure de manière simple et fiable dans ce domaine, ce qui entrave également le développement ultérieur de stratégies de réponse réalisables.

En réponse à ce problème, Google a publié une étude détaillant les coûts énergétiques des modèles de langage de pointe, y compris les premières versions et les plus grandes de LaMDA.

Les résultats de recherche montrent que la combinaison de modèles, de processeurs et de centres de données efficaces avec une énergie propre peut réduire de 1 000 fois l'empreinte carbone des systèmes d'apprentissage automatique.

L'équipe a proposé quatre méthodes de base pour réduire considérablement l'empreinte carbone (et énergétique) des charges de travail d'apprentissage automatique, qui sont actuellement utilisées chez Google et accessibles à toute personne utilisant les services Google Cloud.

Les meilleures pratiques de Google en matière de réduction de l'empreinte carbone et énergétique (4M) sont les suivantes :

• Modèle : les chercheurs affirment que le choix d'une architecture de modèle de ML efficace est crucial car elle a le potentiel d'améliorer la qualité du ML tout en intégrant le temps de calcul. coupé en deux.
• Machines : L'utilisation de processeurs et de systèmes dédiés à la formation ML peut augmenter les performances et l'efficacité énergétique de 2 à 5 fois par rapport aux processeurs à usage général. ​
• Mécanisation : dans la plupart des cas, les centres de données sur site sont plus anciens et plus petits. Par conséquent, le coût des nouveaux systèmes de refroidissement et de distribution d’énergie économes en énergie ne peut pas être amorti.

Le centre de données basé sur le cloud est un nouvel entrepôt conçu sur mesure doté de fonctionnalités économes en énergie pouvant accueillir 50 000 serveurs. Ils offrent une utilisation de l’énergie (PUE) exceptionnellement efficace.

Ainsi, l'informatique dans le cloud plutôt que localement peut économiser 1,4 à 2 fois l'énergie et réduire la pollution.

• Optimisation : Le cloud permet aux clients de sélectionner les zones dotées de l'énergie la plus propre, réduisant ainsi l'empreinte carbone totale de 5 à 10 fois. Cette augmentation de charge est largement compensée par des modèles améliorés basés sur 4M, du matériel spécifique au machine learning et des centres de données efficaces.

Les données de Google montrent que la formation et l'inférence en apprentissage automatique ne représentaient que 10 à 15 % de la consommation globale d'énergie de Google au cours des trois dernières années, dont 35 % étaient utilisées pour l'inférence et 25 % pour la formation chaque année.

Pour trouver des modèles d'apprentissage automatique améliorés, Google utilise Neural Architecture Search (NAS).

Le NAS n'est généralement effectué qu'une seule fois par combinaison domaine problématique/espace de recherche, et le modèle résultant peut ensuite être réutilisé dans des centaines d'applications, le coût unique du NAS étant souvent compensé par les réductions d'utilisation continue.

Des chercheurs ont mené une étude pour entraîner le modèle Transformer.

Pour ce faire, ils ont utilisé des GPU Nvidia P100 dans un centre de données typique avec un mix énergétique similaire à la moyenne mondiale, tout en utilisant du matériel ML de nouvelle génération comme le TPUv4, dont les performances ont été multipliées par 14 par rapport au P100.

Dans le même temps, les centres de données cloud efficaces économisent 1,4 fois l'énergie par rapport aux centres de données ordinaires, réduisant ainsi la consommation totale d'énergie de 83 fois.

De plus, les centres de données alimentés par une énergie à faible émission de carbone peuvent réduire les émissions de carbone de 9 fois supplémentaires, pour une réduction totale de 747 fois sur quatre ans.

L'équipe Google estime que dans le domaine des technologies de l'information, les coûts du cycle de vie de la fabrication d'appareils informatiques de différents types et tailles sont bien supérieurs aux coûts d'exploitation de l'apprentissage automatique.

Les coûts de fabrication estimés des émissions incluent le carbone intégré émis par la fabrication de tous les composants pertinents, des puces aux bâtiments des centres de données.

Bien sûr, en plus d'utiliser l'approche 4M, les fournisseurs de services et les utilisateurs peuvent également prendre des mesures simples pour améliorer leur performance en matière d'empreinte carbone, telles que :

Les clients doivent signaler l'efficacité du centre de données et la propreté énergétique. approvisionnement à chaque site pour analyser et réduire leur consommation d’énergie et leur empreinte carbone.

Les ingénieurs devraient former des modèles sur les processeurs les plus rapides dans les centres de données les plus écologiques, qui sont de plus en plus sur le cloud.

Les chercheurs en apprentissage automatique devraient se concentrer sur la conception de modèles plus efficaces, tels que : exploiter la parcimonie ou inclure la récupération pour réduire le modèle.

De plus, ils doivent déclarer leur consommation d'énergie et leur impact carbone. Non seulement cela encouragera la concurrence au-delà de la qualité des modèles, mais cela garantira également que leur travail est correctement pris en compte.

2.L'IA contribue à réduire les émissions de carbone

Bien que les grands modèles d'IA soient de grands émetteurs de carbone, les technologies de pointe représentées par l'IA contribuent également à la réduction des émissions de carbone.

Une étude menée conjointement par Baidu et l'agence de conseil IDC (International Data Corporation) montre que la contribution des technologies liées à l'IA à la réduction des émissions de carbone augmentera d'année en année, pour atteindre au moins 70 % d'ici 2060, et que le total des émissions de carbone la réduction devrait dépasser 350 milliards de tonnes.

Prenons l'exemple de l'industrie des transports. Les émissions de carbone de l'industrie des transports chinoise en 2020 sont estimées à 1,04 milliard de tonnes, soit 9 % des émissions globales du pays.

Dans le processus visant à inciter l'industrie des transports à réduire les émissions de carbone, l'utilisation d'une technologie de transport intelligente anti-embouteillage basée sur un contrôle intelligent de l'information peut améliorer efficacement l'efficacité du trafic aux principaux carrefours urbains. de dizaines de millions, chaque année. Cela peut réduire au moins 41 600 tonnes d'émissions de carbone, ce qui équivaut aux émissions de carbone de 14 000 voitures particulières conduites pendant un an.

D'après la pratique actuelle, la clé pour comprendre et réaliser une réduction des émissions est de prédire et de surveiller l'effet de la réduction des émissions, et l'IA a trois applications clés dans les économies d'énergie et la réduction des émissions : prédire les émissions, surveiller les émissions et réduire les émissions. .

Selon le « Livre blanc sur le développement d'une industrie neutre en carbone », en termes de prévision des émissions, l'IA peut prédire les émissions de carbone futures sur la base des efforts et des besoins actuels de réduction des émissions, et en même temps définir des directives d'émission pour les émissions de carbone.

En termes de surveillance des émissions, l'IA peut suivre les données d'empreinte carbone en temps réel et collecter des données sur tous les aspects de l'approvisionnement, de la production, des ventes, de l'exploitation et de la maintenance, de la logistique, etc., pour améliorer la précision de la surveillance.

En termes de réduction des émissions, une fois que l'IA a collecté les données de chaque lien, elle peut optimiser et ajuster le flux de travail de chaque lien dans une perspective globale.

En fait, en termes d’IA contribuant à réduire les émissions de carbone, elle a été appliquée dans de nombreux domaines nationaux.

Dans le domaine des nouvelles énergies, le problème majeur réside dans leur volatilité, leur caractère aléatoire et leurs caractéristiques intermittentes.

Utilisez la technologie de l'IA combinée à des calculs de simulation pour prédire l'instabilité de l'énergie éolienne et photovoltaïque, par exemple : combiner la vitesse du vent, la direction du vent, l'intensité lumineuse et d'autres caractéristiques météorologiques naturelles pour prédire raisonnablement la production d'électricité future et la production d'énergie. réseau plus précisément Le plan de production d'électricité protège l'incertitude et l'instabilité de la nouvelle énergie sous la couche technique.

Pour un autre exemple, la compétence du Groupe Eau comprend l'eau brute, la production d'eau, l'approvisionnement en eau, le drainage, les eaux usées, la conservation de l'eau, etc.

Prenons l'exemple de l'approvisionnement en eau des résidents. Si la pression de l'eau est trop élevée, cela nécessitera beaucoup d'énergie et le taux de fuite du réseau de canalisations sera élevé, ce qui peut provoquer des explosions de canalisations en cas d'eau ; la pression est trop faible, cela peut gêner les résidents lors de l'utilisation de l'eau.

Afin de résoudre ce problème, le groupe de l'eau a déployé des capteurs matériels sous terre pour surveiller la pression de l'eau et a construit un cerveau aquatique. Dans le but d'assurer un approvisionnement en eau sûr et stable, la technologie de l'IA peut réaliser un contrôle intelligent de la régulation de la pression et de la consommation d'énergie. optimisation.

De plus, la technologie de réduction des émissions de carbone de l'IA est également utilisée dans des scénarios commerciaux à forte consommation d'énergie tels que les centrales électriques, les parcs et les centres de données pour prédire et contrôler avec précision leurs besoins en électricité de production et effectuer une analyse des équipements consommateurs d'énergie et optimisation de l’empreinte carbone.

3. Conclusion

Les progrès de la technologie de l'IA ont apporté de nombreuses commodités à l'humanité, mais nous devons également prêter attention aux problèmes environnementaux pendant le développement.

Comment l'IA peut parvenir au développement durable à l'avenir et comment l'IA peut mieux soutenir les changements dans le domaine du double carbone sont encore des problèmes qui doivent être résolus par toutes les industries.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!