분산 지역 경량 방법을 위한 통신 효율적인 적응형 배치 크기 전략

현대의 심층 신경망은 그 크기로 인해 종종 많은 작업자와 함께 분산 훈련이 필요합니다. 작업자 수가 증가함에 따라, 통신 오버헤드는 반복당 그래디언트 동기화가 필요한 데이터 병렬 미니배치 확률적 경량 방법에서 주요 병목 현상이 됩니다. Local SGD와 같은 지역 경량 방법은 몇 번의 지역 단계를 수행한 후에만 동기화를 하여 통신을 줄입니다. i.i.d. 및 이질적 환경에서의 수렴성을 이해하고 효율성과 일반화를 위해 배치 크기의 중요성을 알고 있음에도 불구하고, 최적의 지역 배치 크기를 결정하는 것은 어렵습니다. 우리는 미니배치 그래디언트 분산을 줄이기 위해 배치 크기를 적응적으로 늘리는 지역 경량 방법을 위한 적응형 배치 크기 전략을 도입합니다. 우리는 동질적인 데이터 조건 하에서 수렴 보장을 제공하며, 이미지 분류 실험을 통해 우리의 주장을 뒷받침하여 훈련과 일반화에서 우리 전략의 효과를 입증합니다.