GenDDS : Génération de scénarios de conduite vidéo diversifiés avec un modèle génératif de type prompt-to-video

La formation à la conduite autonome nécessite une gamme diversifiée de jeux de données englobant diverses conditions de circulation, scénarios météorologiques et types de routes. Les méthodes traditionnelles d'augmentation de données ont souvent du mal à générer des jeux de données représentant des occurrences rares. Pour relever ce défi, nous proposons GenDDS, une approche novatrice pour la génération de scénarios de conduite en exploitant les capacités de Stable Diffusion XL (SDXL), un modèle avancé de diffusion latente. Notre méthodologie consiste à utiliser des invites descriptives pour guider le processus de synthèse, visant à produire des scénarios de conduite réalistes et diversifiés. Grâce à la puissance des dernières techniques de vision par ordinateur, telles que ControlNet et Hotshot-XL, nous avons construit un pipeline complet pour la génération de vidéos avec SDXL. Nous utilisons le jeu de données KITTI, qui comprend des vidéos de conduite réelles, pour entraîner le modèle. À travers une série d'expérimentations, nous démontrons que notre modèle peut générer des vidéos de conduite de haute qualité qui reproduisent étroitement la complexité et la variabilité des scénarios de conduite du monde réel. Cette recherche contribue au développement de données d'entraînement sophistiquées pour les systèmes de conduite autonome et ouvre de nouvelles voies pour créer des environnements virtuels à des fins de simulation et de validation.