카테고리 없음
[ML] 딥러닝에서 parallelism 구현하기(Multi-GPU학습)
SweetDev
2022. 1. 27. 14:41
Model Parallel과 Data Parallel로 나눌 수 있다.
Model Parallel
Data Parallel
: 데이터를 나눠 GPU에 할당하고, 나온 결과의 평균을 취한다.
PyTorch에서 제공하는 방식은 아래 두가지 이다.
- DataParallel: 데이터를 분배한 후 평균을 취함
- DistributedDataParallel: