정규화된 확률적 최적화를 위한 비동기 미니 배치 알고리즘

미니 배치 최적화는 대규모 학습을 위한 강력한 패러다임으로 입증되었습니다. 그러나 최신의 병렬 미니 배치 알고리즘은 동기 작동 또는 주기적 업데이트 순서를 가정합니다. 작업자 노드가 이질적일 때(다른 계산 능력이나 통신 지연으로 인해) 동기 및 주기적 작업은 비효율적입니다. 이는 느린 노드가 계산을 완료하기를 기다리면서 작업자를 유휴 상태로 남기기 때문입니다. 본 논문에서는 유휴 대기를 없애고 작업자가 최대 업데이트 속도로 실행할 수 있도록 원활한 손실 함수가 있는 정규화된 확률적 최적화 문제를 위한 비동기 미니 배치 알고리즘을 제안합니다. 적절한 단계 크기 값을 선택함으로써, 이 알고리즘은 일반 볼록 정규화 함수의 경우 O(1/T) 차수의 비율을 달성하며, 강한 볼록 정규화 함수의 경우 O(1/T) 비율을 달성합니다. 여기서 T는 반복 횟수입니다. 두 경우 모두 비동기가 알고리즘의 수렴 속도에 미치는 영향은 점근적으로 무시할 수 있으며, 작업자 수의 증가에 따른 거의 선형적인 속도 향상이 기대됩니다. 이론적 결과는 분산 컴퓨팅 인프라에서의 실제 구현을 통해 확인되었습니다.