Construire une frontière de décision régulière avec des réseaux profonds

Dans ce travail, nous construisons une architecture générique de Réseaux de Neurones Convolutionnels pour découvrir des propriétés empiriques des réseaux de neurones. Notre première contribution est d'introduire un cadre à la pointe de la technologie qui dépend de peu d'hyper paramètres et d'étudier le réseau lorsque nous les faisons varier. Il n'a pas de max pooling, pas de biais, seulement 13 couches, est purement convolutionnel et atteint respectivement jusqu'à 95,4 % et 79,6 % de précision sur CIFAR10 et CIFAR100. Nous montrons que la non-linéarité d'un réseau profond n'a pas besoin d'être continue, non expansive ou ponctuelle pour obtenir de bonnes performances. Nous montrons qu'augmenter la largeur de notre réseau permet d'être compétitif avec des réseaux très profonds. Notre deuxième contribution est une analyse des propriétés de contraction et de séparation de ce réseau. En effet, un classificateur par 1-voisin le plus proche appliqué sur des caractéristiques profondes s'améliore progressivement avec la profondeur, ce qui indique que la représentation devient progressivement plus régulière. De plus, nous avons défini et analysé des vecteurs de support locaux qui séparent les classes localement. Tous nos expériences sont reproductibles et le code sera disponible en ligne, basé sur TensorFlow.