Hinter dem großen KI-Modell stehen erstaunlich viele CO2-Emissionen

Seitdem groß angelegte Sprachmodelle wie ChatGPT zu einer weltweiten Sensation wurden, ist nur wenigen Menschen aufgefallen, dass das Training und der Betrieb groß angelegter Sprachmodelle erstaunliche CO2-Emissionen verursachen.

Während weder OpenAI noch Google die Rechenkosten ihrer jeweiligen Produkte angegeben haben, verbrauchte der ChatGPT-Teil des Trainings laut einer Analyse Dritter 1287 MWh und führte zu mehr als 550 Tonnen Kohlendioxid-Emissionen, was einer Person entspricht, die 550 Mal zwischen New York und San Francisco reist.

Tatsächlich ist dies nur der Ausstoß während des Trainings. Beim Betrieb des KI-Großmodells wird mehr Kohlendioxid ausgestoßen.

Martin Bouchard, Mitbegründer des kanadischen Rechenzentrumsunternehmens QScale, glaubt, dass Microsoft und Google generative KI wie ChatGPT in die Suche integriert haben, um den wachsenden Bedürfnissen der Suchmaschinennutzer gerecht zu werden, was zu einer Steigerung führen wird von mindestens 4 bis 5 pro Suche.

Wenn Sie das Modell häufig neu trainieren und weitere Parameter hinzufügen müssen, ist der Berechnungsmaßstab völlig anders.

Laut der Internationalen Energieagentur machen die Treibhausgasemissionen von Rechenzentren bereits etwa 1 % der weltweiten Treibhausgasemissionen aus.

Diese Zahl wird voraussichtlich steigen, da große KI-Modelle und die Nachfrage nach Cloud Computing wachsen.

KI-Großmodelle werden zu einer wichtigen Quelle von CO2-Emissionen.

1. Reduzieren Sie die CO2-Emissionen großer KI-Modelle

Der Trainings- und Betriebsprozess von KI-Modellen verbraucht viel Energie, aber die entscheidende Frage ist, wie man weiß und misst, wie viele Treibhausgasemissionen ein einzelnes maschinelles Lernexperiment verursacht produziert, und wie viel kann reduziert werden? Wie viele?

Derzeit können Datenwissenschaftler in diesem Bereich noch nicht einfach und zuverlässig Messergebnisse erhalten, was auch die Weiterentwicklung praktikabler Antwortstrategien behindert.

Als Reaktion auf dieses Problem veröffentlichte Google eine Studie, in der die Energiekosten modernster Sprachmodelle, einschließlich früherer und größerer Versionen von LaMDA, detailliert beschrieben wurden.

Forschungsergebnisse zeigen, dass die Kombination effizienter Modelle, Prozessoren und Rechenzentren mit sauberer Energie den CO2-Fußabdruck maschineller Lernsysteme um das Tausendfache reduzieren kann.

Das Team hat vier grundlegende Methoden entwickelt, um den Kohlenstoff- (und Energie-)Fußabdruck von Workloads für maschinelles Lernen erheblich zu reduzieren, die derzeit bei Google verwendet werden und für jeden verfügbar sind, der Google Cloud-Dienste nutzt.

Die Best Practices (4Ms) für die Reduzierung von Energie und CO2-Fußabdruck von Google lauten wie folgt:

• Modell: Forscher sagen, dass die Wahl einer effizienten ML-Modellarchitektur von entscheidender Bedeutung ist, da sie das Potenzial hat, die ML-Qualität zu verbessern und gleichzeitig Rechenzeit zu integrieren halbieren.
• Maschinen: Der Einsatz von Prozessoren und Systemen für das ML-Training kann die Leistung und Energieeffizienz im Vergleich zu Allzweckprozessoren um das Zwei- bis Fünffache steigern. ​
• Mechanisierung: In den meisten Fällen sind lokale Rechenzentren älter und kleiner. Daher können die Kosten für neue energieeffiziente Kühl- und Stromverteilungssysteme nicht amortisiert werden.

Das cloudbasierte Rechenzentrum ist ein neues, maßgeschneidertes Lager mit energieeffizienten Funktionen, das Platz für 50.000 Server bietet. Sie bieten eine außergewöhnlich effiziente Leistungsausnutzung (PUE).

So kann das Rechnen in der Cloud statt vor Ort das 1,4- bis 2-fache an Energie einsparen und die Umweltverschmutzung reduzieren.

• Optimierung: Die Cloud ermöglicht es Kunden, Bereiche mit der saubersten Energie auszuwählen und so den gesamten CO2-Fußabdruck um das Fünf- bis Zehnfache zu reduzieren. Dieser Lastanstieg wird größtenteils durch verbesserte Modelle auf Basis von 4Ms, maschinell lernender Hardware und effizienten Rechenzentren ausgeglichen.

Google-Daten zeigen, dass Training und Inferenz für maschinelles Lernen in den letzten drei Jahren nur 10 bis 15 % des gesamten Energieverbrauchs von Google ausmachten, wobei jedes Jahr 35 % für Inferenz und 25 % für Training verwendet wurden.

Um verbesserte Modelle für maschinelles Lernen zu finden, verwendet Google Neural Architecture Search (NAS).

NAS wird in der Regel nur einmal pro Kombination aus Problemdomäne und Suchraum durchgeführt, und das resultierende Modell kann dann in Hunderten von Anwendungen wiederverwendet werden, wobei die einmaligen Kosten für NAS oft durch die Reduzierungen bei der laufenden Nutzung ausgeglichen werden.

Forscher führten eine Studie durch, um das Transformer-Modell zu trainieren.

Zu diesem Zweck verwendeten sie Nvidia P100-GPUs in einem typischen Rechenzentrum mit einem Energiemix, der dem globalen Durchschnitt ähnelte, während sie durch den Einsatz von ML-Hardware der nächsten Generation wie TPUv4 die Leistung gegenüber dem P100 um das 14-fache steigerten.

Gleichzeitig sparen effiziente Cloud-Rechenzentren 1,4-mal mehr Energie als herkömmliche Rechenzentren und senken so den Gesamtenergieverbrauch um das 83-fache.

Darüber hinaus können Rechenzentren, die mit kohlenstoffarmer Energie betrieben werden, die CO2-Emissionen um das weitere Neunfache reduzieren, was einer Gesamtreduzierung um das 747-fache über einen Zeitraum von vier Jahren entspricht.

Das Google-Team ist davon überzeugt, dass im Bereich der Informationstechnologie die Lebenszykluskosten der Herstellung von Computergeräten unterschiedlicher Art und Größe viel höher sind als die Betriebskosten des maschinellen Lernens.

Die geschätzten Herstellungskosten der Emissionen umfassen den eingebetteten Kohlenstoff, der bei der Herstellung aller relevanten Komponenten, von Chips bis hin zu Rechenzentrumsgebäuden, ausgestoßen wird.

Zusätzlich zum 4Ms-Ansatz können Dienstanbieter und Benutzer natürlich auch einfache Schritte unternehmen, um ihre CO2-Bilanz zu verbessern, wie zum Beispiel:

Kunden sollten die Effizienz des Rechenzentrums und die Sauberkeit der Energie melden Versorgung an jedem Standort, um ihren Energieverbrauch und CO2-Fußabdruck zu analysieren und zu reduzieren.

Ingenieure sollten Modelle auf den schnellsten Prozessoren in den umweltfreundlichsten Rechenzentren trainieren, die zunehmend in der Cloud liegen.

Forscher im Bereich des maschinellen Lernens sollten sich auf die Entwicklung effizienterer Modelle konzentrieren, z. B. auf die Ausnutzung der Sparsity oder die Einbeziehung von Retrieval zur Reduzierung des Modells.

Darüber hinaus sollten sie ihren Energieverbrauch und ihre CO2-Auswirkungen melden. Dies wird nicht nur den Wettbewerb über die Modellqualität hinaus fördern, sondern auch sicherstellen, dass ihre Arbeit ordnungsgemäß berücksichtigt wird.

2.KI trägt zur Reduzierung des CO2-Ausstoßes bei

Obwohl große KI-Modelle große CO2-Emittenten sind, tragen die durch KI repräsentierten Spitzentechnologien auch zur CO2-Reduzierung bei.

Eine gemeinsam von Baidu und der Beratungsagentur IDC (International Data Corporation) durchgeführte Studie zeigt, dass der Beitrag von KI-bezogenen Technologien zur CO2-Reduzierung von Jahr zu Jahr zunehmen wird und bis 2060 mindestens 70 % des Gesamtkohlenstoffs erreichen wird Es wird erwartet, dass die Reduzierung 350 Milliarden Tonnen übersteigt.

Nehmen Sie die Transportindustrie als Beispiel. Die CO2-Emissionen der chinesischen Transportindustrie werden im Jahr 2020 auf 1,04 Milliarden Tonnen geschätzt, was 9 % der Gesamtemissionen des Landes ausmacht.

Im Zuge der Bemühungen der Transportbranche, den CO2-Ausstoß zu reduzieren, kann der Einsatz von stauentlastender intelligenter Transporttechnologie auf der Grundlage intelligenter Informationssteuerung die Verkehrseffizienz an großen städtischen Straßenkreuzungen effektiv verbessern von mehreren zehn Millionen pro Jahr. Es kann mindestens 41.600 Tonnen CO2-Emissionen reduzieren – was den CO2-Emissionen von 14.000 Privatautos entspricht, die ein Jahr lang gefahren werden.

Aus der aktuellen Praxis besteht der Schlüssel zum Verständnis und Erreichen der Emissionsreduzierung darin, die Auswirkungen der Emissionsreduzierung vorherzusagen und zu überwachen, und KI hat drei Schlüsselanwendungen bei der Energieeinsparung und Emissionsreduzierung: Vorhersage von Emissionen, Überwachung von Emissionen und Reduzierung von Emissionen .

Laut dem „White Paper on Carbon Neutral Industry Development“ kann KI im Hinblick auf die Vorhersage von Emissionen zukünftige CO2-Emissionen auf der Grundlage aktueller Bemühungen und Bedürfnisse zur Emissionsreduzierung vorhersagen und gleichzeitig Emissionsrichtlinien für CO2-Emissionen festlegen.

Im Hinblick auf die Überwachung von Emissionen kann KI Daten zum CO2-Fußabdruck in Echtzeit verfolgen und Daten aus allen Aspekten der Beschaffung, Produktion, Vertrieb, Betrieb und Wartung, Logistik usw. sammeln, um die Überwachungsgenauigkeit zu verbessern.

Im Hinblick auf die Reduzierung von Emissionen kann die KI, nachdem sie Daten von jedem Link erfasst hat, den Workflow jedes Links aus globaler Sicht optimieren und anpassen.

Tatsächlich wurde die KI, die zur Reduzierung der CO2-Emissionen beiträgt, in vielen häuslichen Bereichen eingesetzt.

Im Bereich der neuen Energie liegt das Hauptproblem in ihrer Volatilität, Zufälligkeit und intermittierenden Eigenschaften.

Verwenden Sie KI-Technologie in Kombination mit Simulationsberechnungen, um die Instabilität von Wind- und Photovoltaikenergie vorherzusagen, z. B. durch Kombination von Windgeschwindigkeit, Windrichtung, Lichtintensität und anderen natürlichen meteorologischen Eigenschaften um die Zukunft vorherzusagen Machen Sie vernünftige Vorhersagen zur Stromerzeugung, geben Sie genauere Stromerzeugungspläne an das Stromnetz aus und schützen Sie die Unsicherheit und Instabilität neuer Energiequellen unter der technischen Ebene.

Ein weiteres Beispiel: Der Zuständigkeitsbereich der Water Group umfasst Rohwasser, Wasserproduktion, Wasserversorgung, Entwässerung, Abwasser, Wasserschutz usw.

Am Beispiel der Wasserversorgung in Wohngebieten ist der Wasserdruck zu hoch, der Energieverbrauch hoch und die Leckrate des Rohrnetzes hoch, was dazu führen kann Rohrexplosionen; und der Wasserdruck. Wenn er zu niedrig ist, kann es für die Bewohner zu Unannehmlichkeiten bei der Wassernutzung kommen.

Um dieses Problem zu lösen, setzte die Wassergruppe unterirdische Hardware-Sensoren zur Überwachung des Wasserdrucks ein und baute ein Wasserhirn auf, um eine sichere und stabile Wasserversorgung zu gewährleisten Durch KI-Technologie können eine intelligente Spannungsregelung und eine Optimierung des Energieverbrauchs erreicht werden.

Darüber hinaus wird die KI-Technologie zur Kohlenstoffreduzierung auch in Geschäftsszenarien mit hohem Energieverbrauch wie Kraftwerken, Parks und Rechenzentren eingesetzt, um deren Produktionsstrom genau zu messen Anforderungen vorhersagen und steuern sowie stromverbrauchende Geräte und den CO2-Fußabdruck optimieren.

3. Fazit

Die Weiterentwicklung der KI-Technologie hat der Menschheit viele Annehmlichkeiten gebracht, aber wir müssen bei der Entwicklung auch auf Umweltprobleme achten .

Wie KI in Zukunft eine nachhaltige Entwicklung erreichen kann und wie KI Veränderungen im Dual-Carbon-Bereich besser unterstützen kann, sind immer noch Fragen, die von allen Branchen gelöst werden müssen.

Das obige ist der detaillierte Inhalt vonHinter dem großen KI-Modell stehen erstaunlich viele CO2-Emissionen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!