NVIDIA が ChatGPT 専用 GPU をリリースし、推論速度を 10 倍に向上

かつて、人工知能はコンピューティング能力の不足により数十年にわたるボトルネックに陥り、GPU が深層学習に火をつけました。 ChatGPT の時代、AI はモデルが大きいため計算能力不足という問題に再び直面していますが、今回 NVIDIA には解決策はあるのでしょうか?

3 月 22 日、GTC カンファレンスが正式に開催され、開催されたばかりの基調講演で、NVIDIA CEO の Jen-Hsun Huang 氏が ChatGPT 用に準備されたチップを運び出しました。

「コンピューティングの高速化は簡単ではありません。2012 年、コンピューター ビジョン モデル AlexNet は GeForce GTX 580 を使用し、1 秒あたり 262 ペタ FLOPS を処理できました。このモデルは AI テクノロジーの爆発の引き金となりました。」と Huang 氏は述べています。レンシュンは言った。 「10 年後、Transformer が登場しました。GPT-3 は、AlexNet の 100 万倍である 323 ZettaFLOPS の計算能力を使用して、世界に衝撃を与えた AI、ChatGPT を作成しました。新しいコンピューティング プラットフォームが登場し、AI の iPhone 時代が到来しました」 . ."

AI の隆盛により、今年の Nvidia の株価は 77% 上昇しました。現在、Nvidia の市場価値は 6,400 億米ドルであり、これはインテルのほぼ 5 倍です。しかし、今日のリリースは、Nvidia がまだ止まっていないことを示しています。

AIGC 専用のコンピューティング パワーの設計

生成 AI (AIGC) の開発により、テクノロジー企業のコンピューティング パワーのニーズが変化しています。Nvidia はかつて 4 種類の AI を実証しました- 固有のコンピューティング能力 タスク推論プラットフォームは、すべて統一されたアーキテクチャを使用します。

その中でも、NVIDIA L4 は、「CPU の 120 倍高い AI 駆動のビデオ パフォーマンスと 99% のエネルギー効率」を提供し、ビデオのストリーミング、エンコードとデコード、AI ビデオの生成には、より強力な NVIDIA L40 が 2D/3D 画像生成に特に使用されます。

膨大なコンピューティング能力を必要とする ChatGPT に対応して、NVIDIA は、94 GB のメモリと高速化されたトランスフォーマー エンジンを備えた大規模言語モデル (LLM) 専用ソリューションである NVIDIA H100 NVL をリリースしました。デュアル GPU NVLINK を備えた PCIE H100 GPU。

「現在、ChatGPT を実際に処理できる GPU は、NVIDIA HGX A100 だけです。前者と比較して、1 台の GPU に 4 ペアのH100 とデュアル NVLINK 標準サーバーの速度は 10 倍速くなり、大規模な言語モデルの処理コストを 1 桁削減できます」と Huang 氏は述べています。

最後に、レコメンデーション モデル用の NVIDIA Grace Hopper があります。これは、レコメンデーション タスク用に最適化されているだけでなく、グラフ ニューラル ネットワークとベクトル データベースを強化できます。

チップに物理的限界を突破させる

現在、半導体の製造プロセスは物理学が達成できる限界に近づいています。 2nmプロセス後のブレークスルーポイントは何ですか? NVIDIA は、チップ製造の最も原始的な段階であるフォトリソグラフィーから始めることにしました。

根本的に言えば、これは物理学の限界にある画像の問題です。高度なプロセスでは、チップ上の多くのフィーチャが印刷プロセスで使用される光の波長よりも小さくなり、マスクの設計を常に変更する必要があり、これは光近接効果補正と呼ばれるステップです。コンピュータ リソグラフィでは、光がオリジナルを通過してフォトレジストと相互作用するときの光の挙動をシミュレートします。これらの挙動はマクスウェルの方程式に従って記述されます。これは、チップの設計と製造の分野で最も計算量の多いタスクです。

Jen-Hsun Huang 氏は、半導体の設計と製造を高速化するための CuLitho と呼ばれる新技術を GTC で発表しました。このソフトウェアは Nvidia チップを使用して、ソフトウェアベースのチップ設計と、チップ上に設計を印刷するために使用されるフォトリソグラフィ マスクの物理的製造の間のステップを高速化します。

CuLitho は GPU 上で実行され、現在のリソグラフィ テクノロジーと比較して 40 倍のパフォーマンス向上を実現し、現在年間数百億時間の CPU 時間を消費している大規模なコンピューティング ワークロードを高速化します。 「H100 の構築には 89 個のマスクが必要です。CPU で実行する場合、1 つのマスクに 2 週間かかりますが、H100 を使用して CuLitho で実行すると、わずか 8 時間しかかかりません」と Huang 氏は述べています。

これは、500 台の NVIDIA DGX H100 システムが 40,000 台の CPU システムの作業を置き換え、コンピュテーショナル リソグラフィ プロセスのすべての部分を実行できることを意味し、電力要件と環境への潜在的な影響を軽減するのに役立ちます。

この進歩により、チップのトランジスタと回路が現在よりも小さくなり、同時にチップの市場投入までの時間が短縮され、製造を推進するために 24 時間稼働する大規模なデータセンターが改善されます。プロセスのエネルギー効率。

NVIDIA は、この技術を市場に投入するために ASML、Synopsys、TSMC と協力していると述べました。報道によると、TSMCは6月にこの技術の試作準備を開始する予定だという。

「チップ産業は、世界中のほぼすべての産業の基盤です」とフアン氏は語った。 「CuLitho を通じて、パートナーの TSMC、ASML、Synopsys と協力して、物理の限界にあるリソグラフィー技術を使用することで、ファブは生産量を増やし、二酸化炭素排出量を削減し、2nm 以降の基盤を築くことができます。」

初の GPU アクセラレーション量子コンピューティング システム

本日のイベントで、NVIDIA は、ハイテク アプリケーション向けに設計された量子マシンを使用して構築された新しいシステムも発表しました。パフォーマンスと低遅延の量子古典コンピューティング。

世界初の GPU アクセラレーテッド量子コンピューティング システムとして、NVIDIA DGX Quantum は、世界で最も強力なアクセラレーテッド コンピューティング プラットフォーム ( NVIDIA Grace Hopper スーパー チップと CUDA Quantum オープン ソース プログラミング モデル) と、世界最先端の量子制御プラットフォーム OPX (Quantum Machines によって提供) の組み合わせによって実現されます。この組み合わせにより、研究者は、量子コンピューティングと最先端の古典的コンピューティングを組み合わせて、校正、制御、量子誤り訂正、ハイブリッド アルゴリズムを可能にする、前例のない強力なアプリケーションを構築できるようになります。

DGX Quantum の中心には、PCIe によって Quantum Machines OPX に接続された NVIDIA Grace Hopper システムがあり、GPU と量子処理ユニット (QPU) 間のサブマイクロ秒の遅延を可能にします。

NVIDIA の HPC および量子担当ディレクター、Tim Costa 氏は次のように述べています。「量子加速スーパーコンピューティングには科学と産業を再構築する可能性があり、NVIDIA DGX Quantum により研究者はこの問題を打破できるようになります。

これに応えて、NVIDIA は、高性能 Hopper アーキテクチャ GPU と同社の新しい Grace CPU を「Grace Hopper」に統合し、超強力な AI とHPC アプリケーションのモチベーション。テラバイト規模のデータを実行するアプリケーションに対して最大 10 倍のパフォーマンスを提供し、量子古典研究者に世界で最も複雑な問題を解決するためのさらなる力を与えます。

DGX Quantum は、現在オープンソースになっている強力な統合ソフトウェア スタックである NVIDIA CUDA Quantum も開発者に提供します。 CUDA Quantum は、QPU、GPU、CPU を 1 つのシステムに統合してプログラムするハイブリッド量子古典コンピューティング プラットフォームです。

$37,000/月、ウェブページで独自の ChatGPT をトレーニング

Microsoft は GPT 専用のスーパーコンピューターを構築するために数億ドルを費やして数万台の A100 を購入しました、あなたは今です。ChatGPT と Bing Search をトレーニングするために OpenAI と Microsoft が使用しているのと同じ GPU をレンタルして、独自の大規模モデルをトレーニングすることもできます。

NVIDIA が提案する DGX クラウドは、NVIDIA AI ソフトウェアと組み合わせた専用の NVIDIA DGX AI スーパー コンピューティング クラスターを提供し、このサービスにより、あらゆる企業がシンプルな Web ブラウザーを使用して AI スーパー コンピューティングにアクセスできるようになります。コンピューティングを活用し、オンプレミス インフラストラクチャの取得、導入、管理の複雑さを解消します。

レポートによると、各 DGX Cloud インスタンスには 8 つの H100 または A100 80GB Tensor コア GPU が搭載されており、ノードあたり合計 640GB GPU メモリを備えています。 NVIDIA ネットワーキングで構築された高性能、低遅延のファブリックにより、相互接続されたシステムのクラスター全体でワークロードを拡張できるため、複数のインスタンスが 1 つの巨大な GPU として機能し、高度な AI トレーニングのパフォーマンス要件を満たすことができます。

企業は DGX Cloud クラスターを月単位でレンタルできるようになり、需要の高いコンピューティング リソースの高速化を待たずに、大規模なマルチノード トレーニング ワークロードの開発を迅速かつ簡単に拡張できるようになりました。 。

Huang Renxun 氏によると、月額レンタル料金は 1 インスタンスあたり月額 36,999 ドルからです。

「私たちは今、iPhone の人工知能の瞬間にいます。スタートアップ企業は破壊的な製品やビジネス モデルの開発を競っており、既存企業はそれに応えようとしています。DGX Cloud は顧客に次のようなサービスを提供します」と Huang 氏は述べています。世界規模でクラウド上の NVIDIA AI スーパーコンピューティングに瞬時にアクセスできます。」

企業が生成 AI の波を受け入れるのを支援するために、NVIDIA は企業が構築および構築できる一連のクラウド サービスも発表しました。カスタマイズされた大規模言語モデルと生成 AI モデルを改善します。

NVIDIA NeMo 言語サービスと NVIDIA Picasso 画像、ビデオ、および 3D サービスを使用して、インテリジェントな会話やカスタマー サポート、プロフェッショナルなコンテンツ作成のための独自のドメイン固有の生成 AI アプリケーションを構築できるようになりました。デジタルシミュレーションなど。これとは別に、NVIDIA は NVIDIA BioNeMo 生物学クラウド サービスの新モデルを発表しました。

「生成 AI は、人間の自然言語でプログラムできる新しいタイプのコンピューターです。この能力は広範囲に影響を及ぼします。誰もがコンピューターに命令して問題を解決することができますが、これは不可能でした」スーン以前のケースでは、これはプログラマーだけを対象としたものだった」とフアン氏は語った。

本日のリリースから判断すると、Nvidia はテクノロジー企業の AI ワークロード向けのハードウェア設計を継続的に改善しているだけでなく、新しいビジネス モデルも提案しています。一部の人々の目には、NVIDIA は「AI 分野の TSMC」になりたいと考えています。ウェーハ工場のような高度な生産性ファウンドリ サービスを提供し、他の企業がその上で特定のシナリオに合わせて AI アルゴリズムをトレーニングできるように支援します。

NVIDIA のスーパーコンピューターのトレーニングを利用して、価格差を得る中間業者の必要性を直接排除することは、将来の AI 開発の方向になるでしょうか?

以上がNVIDIA が ChatGPT 専用 GPU をリリースし、推論速度を 10 倍に向上の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。