Wie NVIDIA im Garten der generativen KI als „Gräber“ arbeitet

Warum sind NVIDIA-GPUs teuer?

Autor: 江月

Herausgeber: Taoli Lu Taoran

Fotoquelle: 图bug

„Die Ära der CPU-Erweiterung ist vorbei“, verkündete NVIDIA-Gründer und CEO Jen-Hsun Huang am 29. Mai auf der Taipei International Computex. „Während der zweistündigen Rede gab er eine ausführliche Einführung in Nvidias aktuelle Hardware, Software und neue Systemprodukte rund um die „Triggerpunkte“, die generative KI mit sich bringt.

Huang Renxun sagte, dass der „neue Computer“, der von der GPU geprägt ist, angekommen ist. Der neue „Rechner“ von Nvidia hat eine andere Form als zuvor und wird einzeln für bis zu 200.000 US-Dollar verkauft. Inmitten der „teuren“ Kontroverse sagte Huang Renxun auch, dass GPU die einzige Wahl für jedes Unternehmen mit begrenztem Strombudget sei und es auch die „sparsamste“ Infrastrukturoption sei.

Huang Renxun sagte kürzlich in einer öffentlichen Rede, dass die Menschen angesichts der KI-Ära „rennen und nicht langsam gehen“ müssen. Im Garten der generativen KI gräbt Nvidia offensichtlich intensiv.

GPU-Daten dekodieren心Kosten

„Jeder sagt immer, dass GPU-Rechenzentren teuer sind, lassen Sie es mich für Sie berechnen.“ Am 29. Mai stellte NVIDIA-Gründer und CEO Huang Jen-Hsun es der Öffentlichkeit auf der Taipei International Computer Show ausführlich vor Kosten für Rechenzentren.

NVIDIA brachte bei Treffen mit Lieferanten und Kunden seinen neuen KI-Computer DGX GH200 mit. Hierbei handelt es sich um einen Supercomputer, der 256 Nvidias leistungsstärkste CPUs und GPUs integriert und den Trainingsbedarf „sehr großer Modelle“ erfüllen kann.

DGX GH200 nutzt die NVIDIA NVLink-C2C-Verbindungstechnologie, um die Arm-basierte Grace-Architektur-CPU und die Hopper-Architektur-GPU zu verbinden und erreicht so eine Gesamtbandbreite von bis zu 900 GB/s, was höher ist als der Standard-PCIe-Gen5-Kanal in herkömmlichen Beschleunigungssystemen Diese siebenmal höhere Rechenleistung ist in der Lage, die anspruchsvollsten generativen KI- und HPC-Anwendungen von heute zu erfüllen.

Das Bild zeigt den von NVIDIA am 29. Mai angekündigten GH200 Grace Hopper-Superchip

Foto bereitgestellt von NVIDIA

Da die Marktnachfrage nach Rechenzentrumsinfrastruktur wächst, muss Nvidia nun auch einige „Verkaufsmethoden“ für den Markt nutzen. Das dringendste Bedürfnis besteht darin, die Angst der Menschen zu zerstreuen, dass ihre Ausrüstung „teuer“ sei.

Einfach ausgedrückt: „Mit einem GPU-Rechenzentrum können Sie die 150-fache Leistung erzielen und 2/3 der Kosten sparen.“

Huang Renxun stellte vor, dass AIGC-Entwickler am Beispiel des gleichen Budgets von 10 Millionen US-Dollar ein Rechenzentrum mit 960 CPU-Servern aufbauen können, was ausreicht, um ein großes Sprachmodell zu trainieren, und der endgültige Betriebsverbrauch beträgt 11 Gigabyte Wattstunde Strom (GWh, entspricht 11 Millionen Kilowattstunden Strom).

Aber wenn Sie auf GPU umsteigen, können Sie ein Rechenzentrum aufbauen, das aus 48 GPU-Servern besteht. Dieses Rechenzentrum kann jedoch 44 große Sprachmodelle trainieren und verbraucht dabei insgesamt 3,2 Gigawattstunden (entspricht 3,2 Millionen Kilowattstunden). Strom).

Nach der oben genannten Berechnungsmethode beträgt der Preis eines GPU-Chips basierend auf dem Einzelchip-Preis das 20-fache des Preises einer CPU, was „teurer“ zu sein scheint. Laut der Berechnungsmethode für die TCO-Kosten des Rechenzentrums spart das GPU-Rechenzentrum jedoch mehr Geld.

Huang Renxun hat sogar direkt in der Demonstrations-PPT eine Formel aufgeführt: Betriebskosten des Rechenzentrums = f {Hardwarekosten (Chip, System, Hardware-Ökosystem), Durchsatz (GPU, AIgo-Software, Netzwerk, Systemsoftware, Software-Ökosystem), Nutzung (AIgo Lib, Software-Ökosystem), Beschaffungsvorgänge, Lebenszyklusoptimierung, Rechenleistung} und erklärt so das TCO-Kostenproblem des Rechenzentrums.

„Warum ist das so wichtig? Weil im wirklichen Leben die meisten Unternehmen Machtbeschränkungen haben.“ betonte Huang Renxun noch einmal. Wenn Unternehmen in AIGC investieren und diesen objektiven Faktor berücksichtigen, müssen sie sich für effizientere Rechenzentrumsprodukte mit geringerem Stromverbrauch entscheiden.

Warum sind GPUs in Rechenzentren so leistungsstark? Dies ist laut Huang Renxun vor allem auf drei Hauptfunktionen zurückzuführen: Raytracing (Simulation der Eigenschaften von Licht), künstliche Intelligenz mit Tensor-Computing als Kern und neue Algorithmen.

Seit 2017 hat NVIDIA damit begonnen, diese drei Funktionen gleichzeitig auf der GPU zu implementieren, und die Verwendung der GPU zur Generierung von Bildern hat den Markt zum ersten Mal überrascht. Während es damals mehrere Stunden dauerte, mithilfe eines CPU-Servers ein Bild aus dem Nichts zu „machen“ (dieser Vorgang wird in der Fachsprache „Rendern“ genannt), benötigte Nvidia mit der GPU nur 15 Sekunden.

Die sogenannte „Billigkeit“ neuer GPU-Computer zielt jedoch nicht auf den Verbrauchermarkt ab. Derzeit können CPU-Core-PCs und Notebooks auf dem PC-Markt nicht ersetzt werden, da sie erschwinglicher sind.

In seiner Rede stellte Jen-Hsun Huang einen neuen GPU-Computer vor, der aus 8 H100-Chips besteht. „Es ist der teuerste Computer der Welt“, sagte Huang Renxun.

Dieser neue Computer wiegt 65 Pfund (ungefähr 29,5 Kilogramm) und muss für eine reibungslose und präzise Installation einen Roboter verwenden. „Dieser Computer wird für 200.000 US-Dollar verkauft“, sagte Huang Renxun.

Starten Sie den Wandel in der AIGC-Branche

Dies ist eine Neufassung: Nvidias erster Schritt zur Eroberung der AIGC-Führungsposition besteht darin, die „CPU-Ära“ durch den Einsatz von Hardware zu beenden. Derzeit hat NVIDIA sorgfältige Vorkehrungen im Software-Ökosystem getroffen. Neben der Förderung des CUDA-Computing-Modells bei 4 Millionen Softwareentwicklern hat das Unternehmen auch OEM-Dienste für Spiele-KI-Modelle eingeführt und ist tief in die Fertigungsindustrie vorgedrungen, um virtuelle Fabriken zu unterstützen Robotersimulationen. Technologie und automatisierte Erkennung.

„Warum konnten die Menschen so viele Jahre lang keine neue Rechenmethode entwickeln?“ sagte Huang Renxun, als er über die CPU-Ära sprach. Er wies darauf hin, dass Dies daran liegt, dass zwischen Hardware und Software, dem Verbrauchermarkt sowie Entwicklern und Lieferanten eine „Henne-Ei“-Beziehung besteht, die zu gegenseitiger Zurückhaltung führt und es ermöglicht, dass die CPU-basierte Rechenmethode noch eine Zeit lang bestehen bleibt lange Zeit.

Um die Fesseln der „CPU-Ära“ zu sprengen, entwickelt NVIDIA daher nicht nur energisch Chip-Hardware, sondern legt auch großen Wert auf den Aufbau einer ökologischen Softwareumgebung. Das CUDA-Rechenmodell ist ein Schlüsselelement, das NVIDIA für dieses langfristige Layout entwickelt hat.

Mehr als 3.000 Anwendungen und 4 Millionen Entwickler nutzen derzeit das NVIDIA Cuda-Rechenmodell. Allein im letzten Jahr wurde Cuda 25 Millionen Mal heruntergeladen und die Gesamtzahl der Downloads erreichte 40 Millionen. " Sagte Huang Renxun. Er wies darauf hin, dass es nur auf Basis einer so umfangreichen Software möglich sei, die CPU durch die GPU zu ersetzen.

In der Zusammenfassung von Huang Renxuns zweistündiger Rede können wir Nvidias Erkundung des AIGC-Bereichs sehen, die Kern-Superchips, Verbindungstechnologie, Algorithmus-Engine-Optimierung und unterstützende Software-Upgrades abdeckt.

Tatsächlich werden die an AIGC beteiligten Texte, Texte, Bilder, 2D-Bilder und 3D-Bilder durch eine Vielzahl großer Modelle oder Anwendungen implementiert, darunter das Open-Source-Framework NeMo für Konversations-KI-Modelle von NVIDIA und die großen Modelle LLaMa und ChatGPT von Meta unter Verwendung des GPT-Modells und Stable Diffusion, einer Vincent-Graph-Anwendung usw.

Derzeit nutzen die einflussreichsten AIGC-Technologieführer der Welt intensiv die von NVIDIA bereitgestellten Tools, was NVIDIA auch dazu gebracht hat, den Höchstwert von „1 Billion US-Dollar“ im Marktwert an der US-Börse zu erklimmen, und wird bald mit Apple konkurrieren , Microsoft sowie Google und Amazon sind gemeinsam im „Billionen-Club“.

Der Markt war überrascht von der Anzahl der Tools, die NVIDIA dieses Mal der AIGC-Branche zur Verfügung stellte. Zusätzlich zu den oben genannten Produkten ist auch Nvidias Beteiligung an der Entwicklung groß angelegter Spiele und digitaler Fabriken sehr auffällig.

In Bezug auf die Spieleerstellung zeigte Huang Jenxun einen Spielclip. In diesem Clip wurde neben der realistischen Bildproduktion auch der Dialog zwischen Spielern und NPCs vollständig von AIGC generiert. Mit anderen Worten: Zukünftige Spiele können „Tausende von Gesichtern“ haben und Spieler werden nicht mehr mit NPCs konfrontiert sein, die nur nach Muster reagieren. ACE Game Development Edition ist ein KI-Modell-Foundry-Service von NVIDIA, der Spieleentwicklern dabei helfen kann, diese Funktion einfach zu nutzen.

NVIDIA gab außerdem bekannt, dass einige führende Elektronikhersteller inzwischen die AIGC- und Omniverse-Plattform von NVIDIA genutzt haben, um die „Digitalisierung“ von Fabriken zu realisieren.

Im verarbeitenden Gewerbe gibt es weltweit etwa 10 Millionen Fabriken, und sie sind Schlüsselbereiche für die industrielle Digitalisierung.

Huang Renxun sagte: „Bei der industriellen Fertigung handelt es sich ausschließlich um physische Objekte. Wenn Produkte zunächst digital hergestellt werden können, können Milliarden von Dollar eingespart werden.“

Im industriellen Bereich entwickelt NVIDIA derzeit hauptsächlich Omniverse und generative KI, um Fabriken bei der Gestaltung virtueller Fabriken zu unterstützen. Darüber hinaus bringt das Unternehmen Isaac Sim-Simulations- und Testroboter sowie Automatisierungstools für die optische Inspektion von Metropolis auf den Markt.

Es versteht sich, dass Hersteller elektronischer Geräte wie Foxconn, Pegatron und Quanta bereits die oben genannten Tools von NVIDIA nutzen, um die Produktion und Montage von Laptops und Smartphones zu beschleunigen.

21Tech

Sonderkolumne der Nancai Group

Vorherige Empfehlungen

Von Industrial Internet zu AIGC: Wie schafft Smart Manufacturing den Sprung?

05-30

Ehren Sie CEO Zhao Ming: Entwickeln Sie eine Chip-Strategie nach Bedarf und halten Sie die F&E-Quote im Jahr 2023 bei 10 %

05-30

Mobiltelefonhersteller konkurrieren um Imaging- und Faltbildschirme Huawei erklärt die technischen Geheimnisse im Detail

05-29

NVIDIA fordert „Laufen statt Gehen“ in der KI, Anstrengungen im Supercomputing und die Beseitigung der CPU-Ära

05-29

Das obige ist der detaillierte Inhalt vonWie NVIDIA im Garten der generativen KI als „Gräber“ arbeitet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!