Réseau de neurones conscient des conditions pour la génération d'images contrôlées

Nous présentons le Réseau de neurones conscient des conditions (CAN), une nouvelle méthode pour ajouter du contrôle aux modèles génératifs d'images. Parallèlement aux méthodes de contrôle conditionnel précédentes, le CAN contrôle le processus de génération d'images en manipulant dynamiquement le poids du réseau de neurones. Cela est accompli en introduisant un module de génération de poids conscient des conditions qui génère des poids conditionnels pour les couches convolutionnelles/linéaires en fonction de la condition d'entrée. Nous testons le CAN sur la génération d'images conditionnelles par classe sur ImageNet et la génération d'images à partir de textes sur COCO. Le CAN offre systématiquement des améliorations significatives pour les modèles de transformateurs de diffusion, y compris DiT et UViT. En particulier, le CAN combiné avec EfficientViT (CaT) atteint un FID de 2.78 sur ImageNet 512x512, surpassant DiT-XL/2 tout en nécessitant 52 fois moins de MACs par étape d'échantillonnage.