ps-CALR: Periodic-Shift Cosine Annealing Lernrate für tiefe neuronale Netze

Es gibt kontinuierliche Bestrebungen, die Leistung von Deep-Learning (DL)-Modellen in verschiedenen Anwendungsbereichen zu verbessern. Die Entwicklung neuer DL-Modelle eröffnet trotz der enormen Ressourcen, die erforderlich sind, weiterhin beispiellose Möglichkeiten in vielfältigen Anwendungsbereichen. Im Allgemeinen hängt der Lernmechanismus von DL-Modellen von dem Begriff "Kostenfunktion" (CF) oder "Verlustfunktion" (LF) ab, und DL-Modelle erfordern unterschiedliche Hyperparameter-Einstellungen und insbesondere Parameter, die dem Modell helfen können, die Kostenfunktion kontinuierlich zu minimieren, bis eine schnellere Konvergenz angenommen wird, mit besserer Verallgemeinerung über die Daten in der Verlustlandschaft. Das Update der Lernrate (LR) versucht, die optimale Lösung für DL-Modelle durch relative Minimierung der Kostenfunktion zu finden. Daher ist die Wahl der geeigneten LR entscheidend für die Leistung von DL-Modellen. Die bestehende Cosine Annealing LR, trotz ihrer Demonstration für schnelle Modellkonvergenz, fehlt es an vollständiger Erkundung der Verlustlandschaft der flachen Minima, was ihre Fähigkeit, eine bessere Verallgemeinerung zu modellieren, einschränkt. Um dies zu beheben, schlägt das Papier eine periodisch verschobene Cosine Annealing Lernrate mit Aufwärm-Epochen (ps-CALR) vor, um das LR-Update zu stören. Sechs verschiedene öffentlich verfügbare Datensätze wurden verwendet, um die vorgeschlagene LR-Methode zu benchmarken, indem mit benutzerdefinierten DL (multilayer perceptron und convolutional neural networks) und vortrainierten DL-Modellen experimentiert wurde. Das vorgeschlagene ps-CARL verbessert die Verallgemeinerung und Konvergenz des Modells, wodurch die Lösung signifikant besser abschneidet im Vergleich zu fester LR und der bestehenden Cosine Annealing-Methode.