CentosでPytorchの分散トレーニングを操作する方法

Centosシステムに関するPytorch分散トレーニングには、次の手順に従う必要があります。

1. Pytorchのインストール：前提は、PythonとPipがCentosシステムにインストールされていることです。 CUDAバージョンに応じて、Pytorchの公式Webサイトから適切なインストールコマンドを入手してください。 CPUのみのトレーニングには、次のコマンドを使用できます。

    PIPインストールTorch TorchVision Torchaudio

   GPUサポートが必要な場合は、CUDAとCUDNNの対応するバージョンがインストールされていることを確認し、対応するPytorchバージョンを使用してインストールしてください。

2. 分散環境構成：分散トレーニングには、通常、複数のマシンまたは単一マシンの複数GPUが必要です。トレーニングに参加するすべてのノードは、互いにネットワークアクセスを担当し、 MASTER_ADDR （MasterノードIPアドレス）やMASTER_PORT （利用可能なポート番号）などの環境変数を正しく構成できる必要があります。

3. 分散トレーニングスクリプトの書き込み： Pytorch's torch.distributed Packageを使用して、分散トレーニングスクリプトを作成します。 torch.nn.parallel.DistributedDataParallelはモデルをラップするために使用されますが、 torch.distributed.launchまたはaccelerateライブラリは分散トレーニングを開始するために使用されます。

   単純化された分散トレーニングスクリプトの例を次に示します。

   トーチをインポートします
   torch.nnをnnとしてインポートします
   torch.optimを最適にインポートします
   Torch.nn.ParallalからDDPとして分配されたDatapar Allelから
   Torch.distributedをインポートします
   
   def Train（rank、world_size）：
       dist.init_process_group（backend = 'nccl'、init_method = 'env：//'）＃プロセスグループの初期化、NCCLバックエンドモデルを使用= ...
   
       ddp_model = ddp（model、device_ids = [rank]）＃ddpを使用してモデル基準= nn.crossentropyloss（）。cuda（rank）＃loss function optimizer = optim.adam（ddp_model.parameters（）、lr = 0.001） torch.utils.data.distributed.distributedsampler（dataset、num_replicas = world_size、rank = rank）
       loader = torch.utils.data.dataloader（dataset、batch_size = ...、sampler = sampler）
   
       範囲のエポックの場合（...）：
           sampler.set_epoch（epoch）＃各エポックの再サンプリングの場合、ローダーのターゲット：
               データ、ターゲット= data.cuda（rank）、target.cuda（rank）
               optimizer.zero_grad（）
               output = ddp_model（data）
               損失=基準（出力、ターゲット）
               loss.backward（）
               optimizer.step（）
   
       dist.destroy_process_group（）＃プロセスグループの場合は__name__ == "__main__"：
       argparseをインポートします
       parser = argparse.argumentparser（）
       parser.add_argument（ ' -  world-size'、type = int、default = 2）
       parser.add_argument（ ' -  rank'、type = int、default = 0）
       args = parser.parse_args（）
       トレイン（args.rank、args.world_size）

4. 分散トレーニングスタートアップ： torch.distributed.launchツールを使用して、分散トレーニングを開始します。たとえば、2つのGPUで実行します。

    python -m torch.distributed.launch  -  nproc_per_node = 2 your_training_script.py

   複数のノードの場合、各ノードが対応するプロセスを実行し、ノードが互いにアクセスできることを確認します。

5. 監視とデバッグ：分散トレーニングは、ネットワーク通信または同期の問題に遭遇する可能性があります。 nccl-testsを使用して、GPU間の通信が正常かどうかをテストします。詳細なロギングは、デバッグに不可欠です。

上記の手順は、実際のアプリケーションの特定のニーズと環境に従って調整する必要がある基本的なフレームワークを提供していることに注意してください。分散トレーニングに関する公式のPytorchドキュメントの詳細な指示を参照することをお勧めします。

以上がCentosでPytorchの分散トレーニングを操作する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。