Surmonter les contraintes de niveau inférieur dans l'optimisation bilatérale : une approche novatrice avec des fonctions de gap régularisées

L'optimisation bilatérale sous contrainte s'attaque aux structures imbriquées présentes dans les tâches d'apprentissage sous contrainte telles que l'apprentissage méta-contraint, l'apprentissage adversarial et l'optimisation bilatérale distribuée. Cependant, les méthodes existantes d'optimisation bilatérale sont généralement limitées à des configurations de contrainte spécifiques, telles que des contraintes linéaires de niveau inférieur. Dans ce travail, nous surmontons cette limitation et développons un nouvel algorithme bilatéral contraint en boucle unique, sans Hessien, capable de gérer des contraintes de niveau inférieur plus générales. Nous y parvenons en utilisant une fonction de gap doublement régularisée adaptée au problème contraint de niveau inférieur, transformant l'optimisation bilatérale contraint en un problème d'optimisation équivalent à un seul niveau avec une seule contrainte lisse. Nous établissons rigoureusement l'analyse de convergence non asymptotique de l'algorithme proposé sous la convexité du problème de niveau inférieur, évitant ainsi le besoin d'hypothèses de convexité forte sur l'objectif de niveau inférieur ou d'hypothèses de convexité de couplage sur les contraintes de niveau inférieur trouvées dans la littérature existante. De plus, la généralité de notre méthode permet son extension à l'optimisation bilatérale avec un problème de niveau inférieur minimax. Nous évaluons l'efficacité et l'efficience de notre algorithme sur divers problèmes synthétiques, des tâches d'apprentissage hyperparamétriques typiques et des réseaux antagonistes génératifs.