Key points are not available for this paper at this time.
Zusammenfassung In dieser Arbeit beschäftigen wir uns mit unbeschränkten Optimierungsproblemen mit endlichen Summen, insbesondere mit Fällen aus groß angelegten Szenarien des tiefen Lernens. Unser Hauptinteresse liegt in der Erforschung der Beziehung zwischen aktuellen Ansätzen zur Linienoptimierung für stochastische Optimierung im überparametrisierten Regime und Momentum-Richtungen. Zunächst weisen wir darauf hin, dass die Kombination dieser beiden Elemente mit rechentechnischen Vorteilen nicht einfach ist. Zu diesem Zweck schlagen wir eine Lösung vor, die auf der Persistenz von Mini-Batches basiert. Anschließend führen wir einen algorithmischen Rahmen ein, der eine Mischung aus Datenpersistenz, konjugierten Gradientenregeln zur Definition des Momentum-Parameters und stochastischen Liniensuchverfahren ausnutzt. Der resultierende Algorithmus weist nachweislich Konvergenzeigenschaften unter geeigneten Annahmen auf und zeigt empirisch, dass er andere beliebte Methoden der Literatur übertrifft und sowohl in konvexen als auch in nicht-konvexen groß angelegten Trainingsproblemen Ergebnisse auf dem neuesten Stand der Technik erzielt.
Lapucci et al. (Wed,) haben diese Frage untersucht.