Vallées asymétriques : Au-delà des minima locaux aigus et plats

Malgré la nature non convexe de leurs fonctions de perte, il est connu que les réseaux neuronaux profonds généralisent bien lorsqu'ils sont optimisés avec la descente de gradient stochastique (SGD). Des travaux récents conjecturent que la SGD avec une configuration appropriée est capable de trouver des minima locaux larges et plats, qui ont été proposés comme associés à une bonne performance de généralisation. Dans cet article, nous observons que les minima locaux des réseaux profonds modernes sont plus que plats ou aigus. Plus précisément, à un minimum local, il existe de nombreuses directions asymétriques telles que la perte augmente brusquement d'un côté et lentement de l'autre côté — nous définissons formellement de tels minima comme des vallées asymétriques. Sous des hypothèses légères, nous prouvons que pour les vallées asymétriques, une solution biaisée vers le côté plat généralise mieux que le minimiseur exact. De plus, nous montrons que simplement en moyennant les poids le long de la trajectoire SGD, on obtient de telles solutions biaisées de manière implicite. Cela fournit une explication théorique au phénomène intrigant observé par Izmailov et al. (2018). En outre, nous trouvons empiriquement que la normalisation par lot (BN) semble être une cause majeure des vallées asymétriques.