Repenser la généralisation des classificateurs dans des scénarios de classes séparables et des régimes sur-paramétrés

Nous étudions la dynamique d'apprentissage des classificateurs dans des scénarios où les classes sont séparables ou les classificateurs sont sur-paramétrés. Dans les deux cas, la Minimisation du Risque Empirique (MRE) aboutit à une erreur d'entraînement nulle. Cependant, il existe de nombreux minima globaux avec une erreur d'entraînement nulle, dont certains généralisent bien et d'autres non. Nous montrons que dans les scénarios de classes séparables, la proportion de "mauvais" minima globaux diminue exponentiellement avec le nombre de données d'entraînement n. Notre analyse fournit des bornes et des courbes d'apprentissage dépendant uniquement de la distribution de densité de la vraie erreur pour l'ensemble de fonctions de classificateurs donné, indépendamment de la taille ou de la complexité de l'ensemble (par exemple, le nombre de paramètres). Cette observation peut éclairer la bonne généralisation inattendue des réseaux de neurones sur-paramétrés. Pour le scénario sur-paramétré, nous proposons un modèle pour la distribution de densité de la vraie erreur, produisant des courbes d'apprentissage qui s'alignent avec des expériences sur MNIST et CIFAR-10.