StyleBank : Une représentation explicite pour le transfert de style d'image neuronal

Nous proposons StyleBank, qui est composé de plusieurs banques de filtres convolutifs et chaque banque de filtres représente explicitement un style, pour le transfert de style d'image neuronal. Pour transférer une image à un style spécifique, la banque de filtres correspondante est appliquée sur l'encodage de caractéristiques intermédiaires produit par un seul auto-encodeur. Le StyleBank et l'auto-encodeur sont appris conjointement, où l'apprentissage est effectué de manière à ce que l'auto-encodeur n'encode aucune information de style grâce à la flexibilité introduite par la représentation explicite de la banque de filtres. Cela nous permet également de réaliser un apprentissage incrémental pour ajouter un nouveau style d'image en apprenant une nouvelle banque de filtres tout en maintenant l'auto-encodeur fixe. La représentation explicite du style ainsi que la conception flexible du réseau nous permettent de fusionner les styles à la fois au niveau de l'image, mais aussi au niveau de la région. Notre méthode est le premier réseau de transfert de style qui se relie à des méthodes traditionnelles de cartographie de textons, offrant ainsi une nouvelle compréhension sur le transfert de style neuronal. Notre méthode est facile à former, fonctionne en temps réel et produit des résultats qui sont qualitativement meilleurs ou au moins comparables aux méthodes existantes.