Généralisation sans exemples à travers les architectures pour la classification visuelle

La généralisation aux données non vues est un désir clé pour les réseaux profonds, mais sa relation avec la précision de classification n'est pas claire. En utilisant un jeu de données visuelles minimaliste et une mesure de généralisation, nous montrons que les réseaux populaires, des réseaux de neurones convolutifs profonds (CNN) aux transformateurs, varient dans leur capacité à extrapoler vers des classes non vues à la fois à travers les couches et les architectures. La précision n'est pas un bon prédictif de généralisation, et la généralisation varie de manière non monotone avec la profondeur des couches. Le code est disponible sur https://github.com/dyballa/zero-shot-generalization.