Profondeur par Défocus avec Optique Apprise pour l'Imagerie et Estimation de Profondeur Sensible à l'Occlusion

L'estimation de profondeur monoculaire reste un problème difficile, malgré des avancées significatives dans les architectures de réseaux de neurones qui tirent parti des indices de profondeur picturaux seuls. Inspirés par la profondeur par défocus et les approches émergentes d'ingénierie de fonction de diffusion ponctuelle qui optimisent l'optique programmable de bout en bout avec des réseaux d'estimation de profondeur, nous proposons un nouveau cadre amélioré pour l'estimation de profondeur à partir d'une seule image RGB en utilisant une ouverture codée par phase apprise. Notre conception d'ouverture optimisée utilise des contraintes de symétrie rotationnelle pour une efficacité computationnelle, et nous entraînons conjointement l'optique et le réseau en utilisant un modèle de formation d'image sensible à l'occlusion qui fournit un flou par défocus plus précis aux discontinuités de profondeur que les techniques précédentes. En utilisant ce cadre et un prototype de caméra personnalisé, nous démontrons une qualité d'image et d'estimation de profondeur de pointe parmi des caméras computationnelles optimisées de bout en bout dans des simulations et des expériences.