Sur le pouvoir de l'apprentissage par curriculum dans la formation de réseaux profonds

La formation de réseaux neuronaux se fait traditionnellement en fournissant une séquence de mini-lots aléatoires échantillonnés uniformément à partir de l'ensemble des données d'entraînement. Dans ce travail, nous analysons l'effet de l'apprentissage par curriculum, qui implique l'échantillonnage non uniforme de mini-lots, sur la formation de réseaux profonds, et spécifiquement des CNN entraînés pour la reconnaissance d'images. Pour employer l'apprentissage par curriculum, l'algorithme d'entraînement doit résoudre 2 problèmes : (i) trier les exemples d'entraînement par difficulté ; (ii) calculer une série de mini-lots qui présentent un niveau de difficulté croissant. Nous abordons le défi (i) en utilisant deux méthodes : l'apprentissage par transfert à partir d'un réseau