Key points are not available for this paper at this time.
Die Autoren schlagen eine neue Methodik zur Erstellung der ersten automatisch anpassenden Lernraten vor, die die optimale Konvergenzrate für stochastischen Gradientenabstieg erreichen. Empirische Tests stimmen mit den theoretischen Erwartungen überein, dass Drift verwendet werden kann, um zu bestimmen, ob der entscheidende Parameter c groß genug ist. Mit dieser Statistik wird es möglich sein, die ersten adaptiven Lernraten zu erzeugen, die mit optimaler Geschwindigkeit konvergieren.
Darken et al. (Thu,) untersuchten diese Frage.