Synergie neuromorphique pour la binarisation vidéo

Les objets bimodaux, tels que le motif en damier utilisé dans l'étalonnage des caméras, les marqueurs pour le suivi des objets et le texte sur les panneaux de signalisation, pour n'en nommer que quelques-uns, sont répandus dans notre vie quotidienne et servent de forme visuelle pour intégrer des informations facilement reconnaissables par les systèmes de vision. Bien que la binarisation à partir d'images d'intensité soit essentielle pour extraire les informations intégrées dans les objets bimodaux, peu de travaux précédents considèrent la tâche de binarisation d'images floues en raison du mouvement relatif entre le capteur de vision et l'environnement. Les images floues peuvent entraîner une perte de qualité de binarisation et donc dégrader les applications en aval où le système de vision est en mouvement. Récemment, les caméras neuromorphiques offrent de nouvelles capacités pour atténuer le flou de mouvement, mais il n'est pas trivial de déflouter puis de binariser les images en temps réel. Dans ce travail, nous proposons une méthode de reconstruction binaire basée sur des événements qui tire parti de la connaissance préalable des propriétés de la cible bimodale pour effectuer des inférences indépendamment dans l'espace des événements et dans l'espace image, et fusionner les résultats des deux domaines pour générer une image binaire nette. Nous développons également une méthode d'intégration efficace pour propager cette image binaire vers une vidéo binaire à haute fréquence d'images. Enfin, nous développons une nouvelle méthode pour fusionner naturellement les événements et les images pour l'identification de seuils non supervisée. La méthode proposée est évaluée sur des séquences de données publiquement disponibles et collectées, et montre que la méthode proposée peut surpasser les méthodes SOTA pour générer des vidéos binaires à haute fréquence d'images en temps réel sur des dispositifs uniquement basés sur CPU.