Au-delà des modèles fondamentaux : Distillation des priors géométriques pour l'estimation de profondeur monoculaire légère en endoscopie

Récemment, les modèles fondamentaux géométriques ont démontré des performances remarquables dans les tâches d'estimation de profondeur, bénéficiant d'une exposition à des données à grande échelle qui permettent l'apprentissage de structures géométriques complexes et de dépendances spatiales. Cependant, leurs grandes tailles de paramètres et leur complexité computationnelle élevée posent des défis significatifs pour répondre aux exigences d'efficacité des applications chirurgicales en aval. Par conséquent, la conception d'un estimateur de profondeur monoculaire léger et performant est devenue un point focal de recherche. À cet effet, nous exploitons les riches priors géométriques encodés dans les modèles fondamentaux géométriques et introduisons un nouveau schéma de distillation en trinité qui transfère la connaissance géométrique à travers trois dimensions complémentaires, à savoir spatiale, spectrale et de gradient, dans un estimateur de profondeur compact. Pour améliorer la qualité de la prédiction, nous développons une stratégie d'alignement de distribution sémantique pour supprimer efficacement les artefacts de pseudo-texture résultant de la capacité de représentation sémantique limitée de l'estimateur léger. Des expériences extensives sur les ensembles de données SCARED, SERV-CT, Hamlyn et C3VD démontrent que la méthode proposée surpasse ou atteint des performances comparables à celles des concurrents à la pointe de la technologie, avec une taille de modèle plus petite et une réduction de la surcharge computationnelle. Le code sera disponible à : https://github.com/ShuweiShao/LiteNet.