P-MVSNet : Apprentissage de l'agrégation de la confiance de correspondance par patchs pour la stéréo multi-vues

Les méthodes basées sur l'apprentissage démontrent leur forte compétitivité dans l'estimation de la profondeur pour la reconstruction stéréo multi-vues ces dernières années. Parmi elles, les approches qui génèrent des volumes de coût basés sur l'algorithme de balayage de plan et les utilisent ensuite pour le appariement de caractéristiques se sont révélées très prometteuses récemment. Les volumes de balayage de plan sont essentiellement anisotropes en profondeur et dans les directions spatiales, mais ils sont souvent approximés par des volumes de coût isotropes dans ces méthodes, ce qui pourrait être préjudiciable. Dans cet article, nous proposons un nouveau réseau d'apprentissage profond de bout en bout, P-MVSNet, pour la stéréo multi-vues basé sur des convolutions 3D isotropes et anisotropes. Notre P-MVSNet se compose de deux modules principaux : un module d'agrégation par patchs apprend à agréger les informations de correspondance pixel-à-pixel des caractéristiques extraites pour générer un volume de confiance de correspondance, à partir duquel un hybride U-Net 3D infère ensuite une distribution de probabilité de profondeur et prédit les cartes de profondeur. Nous réalisons d'amples expérimentations sur les jeux de données de référence DTU et Tanks & Temples, et les résultats montrent que le P-MVSNet proposé atteint des performances à la pointe de la technologie sur de nombreuses méthodes existantes en stéréo multi-vues.