AIマスターLi Muのインスタレーション動画はこちら！ 100億個の大規模モデルも練習できる

インストールビデオが公開される前に、Li Mu 先生はグラフィック カードの値下げを利用して小規模なアンケート調査を開始したことがあります。子供たちの意見を見てみましょうインストール ビデオについて Transformer の実行にどの程度興味がありますか?

当時、ファーウェイの有能な若者「Zhihui Jun」もこの製品を気に入りました。これは、誰もが今でもそれを楽しみにしていることを示しています。

いいえ、Mu Shen がインスタレーションビデオを持ってここにいます。 100 億のモデルを最小限のコストでトレーニングするにはどうすればよいでしょうか?

つい最近、為替相場が冷え込んでおり、GPU の価格も大幅に下がっています。たとえば、NVIDIA 3090TI の価格は現在 1,600 ドルです (元の価格 2,000 ドル)。

このプロジェクトの開始時に、2 台のプロトタイプ マシンがインストールされました。各マシンはデュアルカード RTX 3090TI でした。水冷システムを使用して騒音を低減します。

#マシンの設置費用は 5,000 米ドル以上、約 35,000 元です。

早速、Mu God がどのようにマシンをインストールしたかを見てみましょう~

インストール リスト

設置の要件は、まず十分に静かであることです。そうしないと、騒音が大きくなり仕事ができなくなります。

#2 番目の要件は、良好な放熱です。そうしないと、温度が高すぎると GPU がアンダークロックになってしまいます。

3 番目のポイントは、比較的大規模な Transformer モデルを実行する必要があるため、GPU の帯域幅が十分である必要があるということです。

CNN を実行するために GPU サーバーをインストールしたことがある場合は、Transformer モデルを実行するための要件が​​異なります。 Transformer モデルは CNN モデルよりも大きいため、メモリ使用量も多くなります。したがって、GPU のメモリ サイズは非常に重要です。

Mu Shen 氏も以前、このような大規模な Transformer モデルは複数の GPU でトレーニングする必要があると述べました。Google のエンジニアより、 Microsoft などはすべて、DGA X100 などのマシンを使用して実行しています。このようなマシンでも、GPU の帯域幅がボトルネックのままです。

この種のサーバー GPU とゲーム GPU の違いは、前者は 1 枚のカードがどれだけ高速に実行できるかではなく、何枚のカードが実行できるかであることです。カード間を走行し、素早く接続します。

# したがって、インストールのコンセプトの焦点は、GPU メモリと GPU 間の相互接続の帯域幅を増やすことです。

マシンに大量のカードを装着したい場合は、タービン冷却システムを購入する必要があります。

#静音性を求めるなら水冷ヒートシンクを購入 Mu Shen は 3090 TI を 4 元購入しました。水冷を使用する利点は比較的静かであることですが、欠点は多くのスペースを必要とすることです。

#したがって、シャーシに 4 枚のカードを搭載したい場合は、水冷バージョンを購入せず、ターボが 1 つだけ搭載されたバージョンを購入してください。ファン。

##そして、シャーシ内の風の方向は特に重要な問題です。 3 つのファンを備えたカードを購入した場合、空気が前面からシャーシに入り、全方向から熱を放散するため、カードが互いに接近していると、シャーシ内の温度が非常に高くなります。

Mu Shen 氏は、何年も前に、2 つの大きなファンが付いた 4 枚のカードを購入し、それらを組み合わせたとも述べています。その結果、1 枚のカードの温度は高すぎます。焼けました。

GPU (ASUS ROG) を選択した後の残りの構成は比較的簡単です。 CPUは12コアAMD CPU、マザーボードはPCIE 4.0 16というブランド、ハードドライブは2TB M.2ハードドライブ、ファンは120mm水冷ファン、フルサイズシャーシです。追加した。

#インストール手順

インストール リストが完了したら、次の手順は特定のインストール プロセスです。 。手順は次のとおりです。

#最初に GPU を配置します。静電気が発生すると GPU に電気が流れやすくなりますので、配置中は金属部分を手で触れないよう注意してください。

#GPU を取り付けたら、ネジを締めます。次に扇風機を入れます。

# 電源を差し込んだ後、電源コードと水道管を結びます。次に、NVLink ブリッジを接続します。

#最後に電源を接続すると、マシンが動作する準備が整います。

ストレス テスト

インストールが完了したら、次のタスクはインストールを続行することです。オペレーティング·システム 。

Mu Shen さんは ubuntu22 をインストールし、インストール後、リモートで接続しました。

もちろん、Mu Shen はさまざまな状況についても詳しく説明しましたが、ubuntu22 に加えて、Windows と Linux もさまざまなニーズに応じて利用できます。

#ここでは、Mu Shen はリモート接続に SSH を使用しています。

Mu Shen のシステムにはすでにドライバーがインストールされていますが、同時に、ドライバーがない場合には次のような問題があることも指摘しました。ただし、apt-get を使用して nvidia-driver-515 をインストールすることもできます。

#インストール後、nvidia-smi を実行してシステムを確認できます。

#様々な情報がご覧いただけます。 GPU の数、温度、ワット数、メモリ使用量など。

次に、nvidia-smi の topo-m マトリックスを通じて、nv-link が正常かどうかも確認できます。

#2 つの GPU が NV4 で接続されていることがわかります。 4 は 4 チャネルを意味し、接続が正常であることを意味します。

#次の質問は、全負荷時のシステムの温度をテストすることです。

Mu Shen 氏は、GPU は gpu-burn と呼ばれる小さなプログラムでテストされていると述べました。このプログラムは github からダウンロードできます。

ここで、Mu Shen は 10 分間の実行をシミュレートし、2 つの GPU の温度も確認しました。 Mu Shen 氏はまた、GPU から吹き出す熱風を感じることができると冗談を言いました。

同様に、CPU もこの方法を使用して、cpu-burn を使用して温度をテストできます。

最終的に、2 つの GPU の温度は 58 度および 55 度にとどまり、消費電力は 440 ワット (フル消費電力は 480 ワット) 以上に達しました。ワット）、これはかなり良いです。

#最後のパラメータはマシンの消費電力です。 Mu Shen のテストでは約 1240 ワットが使用されました。これは、1 時間あたり 1.5 キロワット時の電力を意味します。

#現在のデータから判断すると、安定性は問題ありません。

#このマシンで Transformer を実行するパフォーマンスについては、次のビデオを待つ必要があります。

ネチズンからの熱いコメント

ビデオが公開された後、ステーションBのネチズンも大きな関心を示しました。

満点クラスの代表生徒が登場し、ビデオで言及されている完全な構成リストをリストします。

一部のネチズンは「李牧からマシンの設置方法を学ぼう」と急いで見ました。

## Mu Shen 自身は、3090ti カードはあまり良くないと感じていると述べました。 。あるネチズンはすぐに、「効果がなかったら、吸って配ってください。」とコメントした。もちろん、この種のハードコアなインスタレーションには、ビデオの下のコメントに間違いなくユーモアの要素があります。

# あまりにも本当すぎるとしか言いようがありません。

以上がAIマスターLi Muのインスタレーション動画はこちら！ 100億個の大規模モデルも練習できるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。