Optimisation robuste distributionnelle contraignante non convexe à grande échelle

L'optimisation robuste distributionnelle (DRO) est un cadre puissant pour entraîner des modèles robustes face aux variations de distribution des données. Cet article se concentre sur le DRO contraint, qui présente une caractérisation explicite du niveau de robustesse. Les études existantes sur le DRO contraint se concentrent principalement sur les fonctions de perte convexes et excluent le cas pratique et difficile avec des fonctions de perte non convexes, par exemple, les réseaux neuronaux. Cet article développe un algorithme stochastique et son analyse de performance pour le DRO contraint non convexe. La complexité computationnelle de notre algorithme stochastique à chaque itération est indépendante de la taille totale du jeu de données, et est donc adaptée aux applications à grande échelle. Nous nous concentrons sur l'ensemble d'incertitude défini par la divergence de la famille générale de Cressie-Read, qui inclut les divergences ² comme cas particulier. Nous prouvons que notre algorithme trouve un point -stationnaire avec une complexité computationnelle de O (^-3k_*-5), où k_* est le paramètre de la divergence de Cressie-Read. Les résultats numériques indiquent que notre méthode surpasse les méthodes existantes. Notre méthode s'applique également à la valeur conditionnelle à risque lissée (CVaR) DRO.