Un Método Estocástico Proximal de Bregman con Extrapolación para Problemas No Convexos y No Suaves

En este artículo, exploramos un problema de optimización específico que involucra la combinación de una función no convexa diferenciable y una función no diferenciable. La componente diferenciable carece de un gradiente continuo de Lipschitz global, lo que plantea desafíos para la optimización. Para abordar este problema y acelerar la convergencia, proponemos un método estocástico de gradiente proximal de Bregman con extrapolación (BPSGE), que solo requiere adaptabilidad suave de la parte diferenciable. Bajo un marco de reducción de varianza, no solo analizamos la convergencia subsecuente y global del algoritmo propuesto bajo ciertas condiciones, sino que también analizamos la tasa de convergencia sublineal de la subsecuencia y la complejidad del algoritmo, revelando que el algoritmo BPSGE requiere como máximo O (epsilon\^\, (-2)) iteraciones en expectativa para alcanzar un punto epsilon-estacionario. Para validar la efectividad de nuestro algoritmo propuesto, realizamos experimentos numéricos en tres aplicaciones del mundo real: factorización de matrices no negativas regularizadas por grafos (NMF), factorización de matrices con regularización débilmente convexa, y NMF con restricciones de escasez no convexas. Estos experimentos demuestran que BPSGE es más rápido que las bases de referencia sin extrapolación. El código está disponible en: https://github.com/nothing2wang/BPSGE-Algorithm.