[ML] 딥러닝에서 parallelism 구현하기(Multi-GPU학습)

Model Parallel과 Data Parallel로 나눌 수 있다. 

 

Model Parallel

 

Data Parallel

: 데이터를 나눠 GPU에 할당하고, 나온 결과의 평균을 취한다. 

 

PyTorch에서 제공하는 방식은 아래 두가지 이다. 

- DataParallel: 데이터를 분배한 후 평균을 취함

- DistributedDataParallel: