Réduire le surapprentissage dans les réseaux profonds par la décorrélation des représentations

Un des principaux défis dans l'entraînement des réseaux de neurones profonds est de prévenir le surapprentissage. De nombreuses techniques telles que l'augmentation des données et de nouveaux régularisateurs comme le Dropout ont été proposées pour prévenir le surapprentissage sans nécessiter une énorme quantité de données d'entraînement. Dans ce travail, nous proposons un nouveau régularisateur appelé DeCov, qui conduit à une réduction significative du surapprentissage (comme l'indiquent la différence entre les performances d'entraînement et de validation), et à une meilleure généralisation. Notre régularisateur encourage des représentations diverses ou non redondantes dans les réseaux de neurones profonds en minimisant la covariance croisée des activations cachées. Cette intuition simple a été explorée dans un certain nombre de travaux passés, mais n'a jamais été appliquée comme régularisateur dans l'apprentissage supervisé. Des expériences sur une gamme de jeux de données et d'architectures de réseau montrent que cette perte réduit toujours le surapprentissage tout en maintenant ou augmentant presque toujours la performance de généralisation, et améliore souvent les performances par rapport au Dropout.