Centos에서 Pytorch의 분산 교육을 운영하는 방법

CentOS 시스템에 대한 Pytorch 분산 교육은 다음과 같은 단계를 수행해야합니다.

1. Pytorch 설치 : 전제는 Python과 PIP가 CentOS 시스템에 설치된다는 것입니다. CUDA 버전에 따라 Pytorch 공식 웹 사이트에서 적절한 설치 명령을 받으십시오. CPU 전용 교육의 경우 다음 명령을 사용할 수 있습니다.

    PIP Torch Torchvision Torchaudio를 설치하십시오

   GPU 지원이 필요한 경우 CUDA 및 CUDNN의 해당 버전이 설치되어 있는지 확인하고 해당 Pytorch 버전을 사용하여 설치하십시오.

2. 분산 환경 구성 : 분산 교육에는 일반적으로 여러 기계 또는 단일 기계 다중 GPU가 필요합니다. 교육에 참여하는 모든 노드는 서로에 대한 네트워크 액세스를 수행하고 MASTER_ADDR (Master Node IP 주소) 및 MASTER_PORT

3. 분산 교육 스크립트 작성 : Pytorch의 torch.distributed 사용하여 분산 교육 스크립트를 작성합니다. torch.nn.parallel.DistributedDataParallel 은 모델을 감싸는 데 사용되며 torch.distributed.launch 또는 accelerate 라이브러리는 분산 교육을 시작하는 데 사용됩니다.

   다음은 단순화 된 분산 교육 스크립트의 예입니다.

    토치 수입
   Torch.nn을 nn으로 가져옵니다
   Torch.optim을 최적으로 가져옵니다
   Torch.nn.parallel import deptompreddataparallel에서 DDP로
   토치를 가져 오십시오
   
   DEF TRAIN (RANK, World_Size) :
       dist.init_process_group (backend = 'nccl', init_method = 'env : //') # 프로세스 그룹 초기화, nccl 백엔드 모델 = ... # 당신의 모델 정의 모델.cuda (rank) # 지정된 GPU로 모델을 이동하십시오.
   
       ddp_model = ddp (모델, device_ids = [rank]) # ddp를 사용하여 모델 기준 = nn.crossentpopyloss (). cuda (rank) # 손실 함수 옵티마이저 = 옵티. Aadam (ddp_model.parameters (), lr = 0.001) # 옵티마이저 데이터 세트 = ... # # Torch.utils.data.distributed.distributedSampler (DataSet, Num_Replicas = World_size, Rank = Rank)
       로더 = torch.utils.data.dataloader (dataset, batch_size = ..., 샘플러 = 샘플러)
   
       범위의 에포크 (...) :
           Sampler.set_epoch (epoch) # 각 epoch 리 샘플링마다, 로더의 대상 :
               data, target = data.cuda (rank), target.cuda (rank)
               Optimizer.zero_grad ()
               출력 = DDP_MODEL (데이터)
               손실 = 기준 (출력, 대상)
               loss.backward ()
               Optimizer.step ()
   
       dist.destroy_process_group () # __name__ == "__main__"인 경우 프로세스 그룹 파괴 :
       Argparse 가져 오기
       Parser = argparse.argumentparser ()
       parser.add_argument ( '-world-size', type = int, default = 2)
       parser.add_argument ( '-rank', type = int, default = 0)
       args = parser.parse_args ()
       기차 (Args.rank, args.world_size)

4. 분산 교육 스타트 업 : torch.distributed.launch 도구를 사용하여 분산 교육을 시작하십시오. 예를 들어, 두 개의 GPU에서 실행하십시오.

    Python -m Torch.diptributed.launch ---nproc_per_node = 2 Your_training_script.py

   여러 노드의 경우 각 노드가 해당 프로세스를 실행하고 노드가 서로 액세스 할 수 있는지 확인하십시오.

5. 모니터링 및 디버깅 : 분산 교육은 네트워크 커뮤니케이션 또는 동기화 문제가 발생할 수 있습니다. nccl-tests 사용하여 GPU 간의 통신이 정상인지 테스트하십시오. 세부 로깅은 디버깅에 필수적입니다.

위의 단계는 실제 응용 분야의 특정 요구 및 환경에 따라 조정해야 할 기본 프레임 워크를 제공합니다. 분산 교육에 대한 공식 Pytorch 문서의 자세한 지침을 참조하는 것이 좋습니다.

위 내용은 Centos에서 Pytorch의 분산 교육을 운영하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!