파이토치(Pytorch) Distributed Data Parallel (DDP)사용하기 DDP를 사용하려면 다음과 같은 설정단계를 거쳐야 합니다. 첫 번째 단계는 초기화 단계입니다. 전체 GPU의 개수가 몇 개인지를 설정합니다. 그리고 현재 프로세스가 사용하는 GPU 번호를 정합니다. 이것을 위해서 아래 코드를 이용하면 됩니다. # 1번 dist_url = 'env://' rank = int(os.environ['RANK']) world_size = int(os.environ['WORLD_SIZE']) local_rank = int(os.environ['LOCAL_RANK']) # 2번 torch.distributed.init_process_group(backend='nccl', init_method=dist_url, world_size=world_size, rank=rank) torch... 더보기 이전 1 2 3 다음
