Key points are not available for this paper at this time.
인공지능을 사용하여 복잡한 문제를 해결하는 응용의 현재 인기가 증가하고 있습니다. 인공지능 또는 자연어 처리를 기반으로 한 채팅의 등장은 현재 인공지능 개발의 기반이 되는 점점 더 크고 정교한 신경망 모델의 생성을 촉발했습니다. 이러한 신경망은 수십억 개의 매개변수로 구성될 수 있으며, 병렬성 기반 접근법을 적용하지 않고는 훈련이 불가능합니다. 본 논문은 딥 러닝에서 신경망 모델을 훈련하는 데 사용되는 가장 중요한 병렬성 유형 중 하나인 파이프라인 병렬성에 대한 연구에 초점을 맞추고 있습니다. 이 연구에서는 주제와 관련된 가장 중요한 개념을 살펴보고 Torchgpipe, FairScale, DeepSpeed의 3개의 파이프라인 병렬성 라이브러리를 상세히 분석합니다. 이러한 라이브러리의 구현 및 특징과 같은 중요한 측면을 분석합니다. 또한 병렬 훈련을 수행하고 훈련 파이프라인의 단계 수와 균형 유형과 같은 측면을 고려하여 실험적으로 평가했습니다.
Núñez 등(선)은 이 질문을 연구했습니다.