Plongée dans l'incertitude en stéréo multi-vues auto-supervisé

La stéréo multi-vues auto-supervisée (MVS) avec une tâche de prétexte de reconstruction d'image a récemment réalisé des progrès significatifs. Cependant, les méthodes précédentes sont basées sur des intuitions, manquant d'explications complètes sur l'efficacité de la tâche de prétexte dans la MVS auto-supervisée. À cette fin, nous proposons d'estimer l'incertitude épistémique dans la MVS auto-supervisée, tenant compte de ce que le modèle ignore. En particulier, les limitations peuvent être catégorisées en deux types : supervision ambiguë dans le premier plan et supervision invalide dans l'arrière-plan. Pour résoudre ces problèmes, nous proposons un nouveau cadre de stéréo multi-vues de réduction de l'incertitude (U-MVS) pour l'apprentissage auto-supervisé. Pour atténuer la supervision ambiguë dans le premier plan, nous impliquons un prior de correspondance supplémentaire avec une perte de cohérence de flux-profondeur. La correspondance dense 2D des flux optiques est utilisée pour régulariser la correspondance stéréo 3D dans MVS. Pour gérer la supervision invalide dans l'arrière-plan, nous utilisons le Dropout de Monte-Carlo pour acquérir la carte d'incertitude et filtrer davantage les signaux de supervision non fiables dans les régions invalides. D'importantes expériences sur les benchmarks DTU et Tank&Temples montrent que notre cadre U-MVS atteint les meilleures performances parmi les méthodes MVS non supervisées, avec des performances concurrentielles par rapport à ses rivaux supervisés.