Bits analogiques : Génération de données discrètes à l'aide de modèles de diffusion avec auto-conditionnement

Nous présentons la Diffusion de Bits : une approche simple et générique pour générer des données discrètes avec des modèles de diffusion à état continu et à temps continu. L'idée principale de notre approche est de d'abord représenter les données discrètes sous forme de bits binaires, puis d'entraîner un modèle de diffusion continu pour modéliser ces bits comme des nombres réels que nous appelons bits analogiques. Pour générer des échantillons, le modèle génère d'abord les bits analogiques, qui sont ensuite seuilés pour obtenir les bits qui représentent les variables discrètes. Nous proposons en outre deux techniques simples, à savoir l'Auto-Conditionnement et les Intervalles de Temps Asymétriques, qui entraînent une amélioration significative de la qualité des échantillons. Malgré sa simplicité, l'approche proposée peut atteindre de fortes performances tant dans la génération d'images discrètes que dans les tâches de légende d'image. Pour la génération d'images discrètes, nous améliorons significativement l'état de l'art précédent sur CIFAR-10 (qui a 3 000 tokens discrets de 8 bits) et ImageNet-64x64 (qui a 12 000 tokens discrets de 8 bits), surpassant le meilleur modèle autorégressif tant en qualité d'échantillon (mesurée par FID) qu'en efficacité. Pour la légende d'image sur le jeu de données MS-COCO, notre approche atteint des résultats compétitifs par rapport aux modèles autorégressifs.