Attention des médias américains : combien d'électricité faut-il pour entraîner ChatGPT ?

Nouvelle du 10 mars, l'IA est redevenue un sujet brûlant dans l'industrie technologique, et elle devrait révolutionner des industries valant des milliards de dollars, du commerce de détail à la médecine. Mais la création de chaque nouveau chatbot ou générateur d’images nécessite une énorme quantité d’électricité, ce qui signifie que la technologie pourrait libérer de grandes quantités de gaz à effet de serre, exacerbant ainsi le réchauffement climatique.

Microsoft, Google et le créateur de ChatGPT, OpenAI, utilisent tous le cloud computing, qui s'appuie sur des milliers de puces dans des serveurs situés dans d'immenses centres de données à travers le monde pour former des algorithmes d'IA appelés modèles et analyser les données pour aider ces algorithmes. tâche. Le succès de ChatGPT a incité d’autres entreprises à lancer leurs propres systèmes d’IA et chatbots, ou à développer des produits utilisant de grands modèles d’IA.

L'IA consomme plus d'énergie que les autres formes d'informatique, la formation d'un seul modèle consommant plus d'électricité que plus de 100 foyers américains en consomment en 1 an. Cependant, même si l’industrie de l’IA connaît une croissance très rapide, elle n’est pas suffisamment transparente car personne ne connaît exactement la consommation totale d’énergie et les émissions de carbone de l’IA. Les émissions de carbone peuvent également varier considérablement, selon le type de centrale électrique fournissant l’électricité. Les centres de données alimentés au charbon ou au gaz naturel auront des émissions de carbone nettement plus élevées que ceux alimentés par l’énergie solaire ou éolienne.

Bien que les chercheurs aient comptabilisé les émissions de carbone créées en créant un modèle unique et que certaines entreprises aient fourni des données sur leur consommation d'énergie, elles n'ont pas fourni d'estimation globale de la consommation totale d'électricité de la technologie. Sasha Luccioni, chercheuse à la société d'IA Huging Face, a rédigé un article quantifiant les émissions de carbone de sa société Bloom, concurrente du modèle OpenAI GPT-3. Lucioni a également tenté d'évaluer les émissions de carbone du chatbot OpenAI ChatGPT sur la base d'un ensemble limité de données publiques.

Augmenter la transparence

Des chercheurs tels que Lucioni affirment qu'il est nécessaire d'avoir une plus grande transparence en ce qui concerne la consommation d'énergie et les émissions des modèles d'IA. Forts de ces informations, les gouvernements et les entreprises peuvent décider s'il vaut la peine d'utiliser GPT-3 ou d'autres modèles à grande échelle pour étudier les traitements contre le cancer ou protéger les langues autochtones.

Une plus grande transparence peut également entraîner davantage de contrôle, et le secteur des cryptomonnaies peut tirer des leçons du passé. Bitcoin a été critiqué pour sa consommation d'énergie excessive, consommant autant d'électricité par an que l'Argentine, selon l'indice de consommation d'électricité de Cambridge Bitcoin. Cette demande vorace d’électricité a incité l’État de New York à adopter un moratoire de deux ans sur la délivrance de licences aux mineurs de cryptomonnaie alimentés par de l’électricité produite à partir de combustibles fossiles.

GPT-3 est un programme d'IA à usage général avec une seule fonction qui peut générer du langage et a de nombreuses utilisations différentes. Un document de recherche publié en 2021 a montré que la formation GPT-3 consommait 1,287 gigawattheures d'électricité, ce qui équivaut approximativement à la consommation électrique de 120 foyers américains pendant un an. Dans le même temps, une telle formation a produit 502 tonnes de carbone, soit l’équivalent des émissions de 110 voitures américaines pendant un an. De plus, ce type de formation ne s'applique qu'à un seul programme, ou « modèle ».

Bien que le coût initial de l'électricité nécessaire à la formation d'un modèle d'IA soit énorme, les chercheurs ont découvert que dans certains cas, cela ne représente qu'environ 40 % de l'électricité consommée par le modèle en utilisation réelle. De plus, les modèles d’IA sont de plus en plus grands. Le GPT-3 d’OpenAI utilise 175 milliards de paramètres, ou variables, alors que son prédécesseur n’en utilisait que 1,5 milliard.

OpenAI travaille déjà sur GPT-4, et le modèle doit être recyclé régulièrement pour maintenir sa connaissance de l'actualité. Emma Strubell, professeur à l'Université Carnegie Mellon qui a été l'une des premières chercheuses à étudier le problème énergétique dans l'IA, a déclaré : « Si vous ne recyclez pas le modèle, il ne saura peut-être même pas ce qu'est le COVID-19. »

Un autre La mesure relative vient de Google, où les chercheurs ont découvert que la formation à l'IA représentait 10 à 15 % de la consommation totale d'électricité de l'entreprise en 2021, soit 18,3 térawattheures. Cela signifie que l’IA de Google consomme 2,3 térawattheures d’électricité par an, ce qui équivaut à peu près à la consommation annuelle d’électricité de tous les foyers d’Atlanta.

Les géants de la technologie s'engagent à zéro émission nette

Alors que dans de nombreux cas, les modèles d'IA s'agrandissent, les entreprises d'IA s'améliorent également constamment pour fonctionner de manière plus efficace. Les plus grandes sociétés américaines de cloud computing, dont Microsoft, Google et Amazon, ont toutes pris des engagements de réduction des émissions de carbone ou de zéro émission nette. Google a déclaré dans un communiqué qu'il atteindrait zéro émission nette dans toutes ses opérations d'ici 2030, dans le but de faire fonctionner ses bureaux et ses centres de données entièrement avec de l'énergie sans carbone. Google utilise également l'IA pour améliorer l'efficacité énergétique de ses centres de données, la technologie contrôlant directement les systèmes de refroidissement des installations.

OpenAI a également cité le travail effectué par l'entreprise pour améliorer l'efficacité de l'interface de programmation d'application ChatGPT, aidant ainsi les clients à réduire la consommation d'énergie et les prix. Un porte-parole d'OpenAI a déclaré : « Nous prenons très au sérieux notre responsabilité d'arrêter et d'inverser le changement climatique et nous avons beaucoup réfléchi à la façon de maximiser notre puissance de calcul OpenAI sur Azure et nous travaillons en étroite collaboration avec les équipes Microsoft pour accroître l'efficacité de notre gestion à grande échelle. modèles de langage et réduire les émissions de carbone. »

Microsoft a noté que l'entreprise achète de l'énergie renouvelable et prend d'autres mesures pour atteindre son objectif précédemment annoncé d'atteindre zéro émission nette d'ici 2030. Microsoft a déclaré dans un communiqué : « Dans le cadre de notre engagement à créer un avenir plus durable, Microsoft investit dans la recherche pour mesurer l'impact de l'IA sur la consommation d'énergie et les émissions de carbone, tout en travaillant à améliorer l'efficacité des systèmes à grande échelle dans la formation et application. »

Roy Schwartz, professeur à l’Université hébraïque de Jérusalem, a travaillé avec une équipe de Microsoft pour mesurer l’empreinte carbone d’un grand modèle d’IA. Il a déclaré : « De toute évidence, ces entreprises ne sont pas disposées à divulguer le modèle qu'elles utilisent et la quantité de carbone qu'elles émettent. »

Il existe des moyens de rendre l'IA plus efficace. Ben Hertz-Shargel du cabinet de conseil en énergie Wood Mackenzie a déclaré que, comme la formation à l'IA peut avoir lieu à tout moment, les développeurs ou les centres de données peuvent planifier la formation aux moments où l'électricité est moins chère ou excédentaire, permettant ainsi à leurs opérations d'être plus respectueuses de l'environnement. Les entreprises d’IA entraînent leurs modèles en période de puissance excessive, qu’elles peuvent ensuite utiliser comme argument de vente dans leur marketing pour montrer qu’elles sont soucieuses de l’environnement.

Le fonctionnement des puces consomme une quantité étonnante d'énergie

La plupart des centres de données utilisent des unités de traitement graphique (GPU) pour entraîner les modèles d'IA, et ces composants comptent parmi les composants les plus gourmands en énergie fabriqués par l'industrie des puces. Un rapport publié par les analystes de Morgan Stanley plus tôt ce mois-ci indiquait que les grands modèles nécessitent des dizaines de milliers de GPU et que les cycles de formation peuvent aller de quelques semaines à plusieurs mois.

L'un des plus grands mystères dans le domaine de l'IA est l'empreinte carbone totale associée aux puces utilisées. Nvidia, le plus grand fabricant de GPU, affirme qu'en ce qui concerne les tâches d'IA, ses puces peuvent effectuer des tâches plus rapidement et être globalement plus efficaces.

Nvidia a déclaré dans le communiqué : "L'utilisation de GPU pour accélérer l'IA est plus rapide et plus efficace que l'utilisation de CPU. Pour certaines charges de travail d'IA, l'efficacité énergétique peut souvent être améliorée de 20 fois, ce qui est essentiel pour l'intelligence artificielle générative. " modèles de langage à l'échelle, l'efficacité énergétique peut être améliorée de 300 fois "

Lucioni a déclaré que bien que Nvidia ait divulgué des données sur les émissions directes et indirectes liées à l'énergie, la société n'a pas divulgué plus de détails. Elle estime que lorsque Nvidia partagera cette information, nous constaterons peut-être que les GPU consomment autant d'énergie qu'un petit pays, "ce qui pourrait rendre les gens fous" ! (Xiao Xiao)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!