SARAH: 확률적 재귀 경량화를 이용한 기계 학습 문제를 위한 새로운 방법

이 논문에서는 유한 합 문제에 대한 새로운 접근법으로 Stochastic Recursive gradient 알고리즘(SARAH)과 그 실용 변형인 SARAH+를 제안합니다. 기본 SGD 및 SVRG, S2GD, SAG, SAGA와 같은 다른 현대 방법들과 달리, SARAH는 확률적 경량 추정치를 업데이트하기 위한 간단한 프레임워크를 제공합니다. SAG/SAGA와 비교할 때, SARAH는 과거 경량의 저장을 요구하지 않습니다. SARAH의 선형 수렴 속도는 강한 볼록성 가정 하에 증명됩니다. 또한 SARAH의 내부 루프에 대해서도 강한 볼록성 경우에 대한 선형 수렴 속도를 보이며, 이는 SVRG가 가지고 있지 않은 특성입니다. 수치 실험들은 우리의 알고리즘의 효율성을 보여줍니다.