Skalawahre monokulare Rekonstruktion durch Robotik-Kinematik und visuelle Daten in neuronalen Radiationsfeldern

Ziel Die skalawahre 3D-Rekonstruktion der chirurgischen Szene aus einem monokularen Endoskop ist wichtig für automatische Navigationssysteme in der roboterassistierten Chirurgie. Traditionelle Mehransichtsstereomethoden nutzen jedoch rein monokulare Bilder, die 3D-Strukturen beliebig skaliert in Bezug auf die reale Welt rekonstruieren können. Aktuelle auf Deep Learning basierende Ansätze verlassen sich auf große Trainingsdaten zur relativen Tiefenschätzung und weiterführenden 3D-Rekonstruktion ohne Skalierung. Inspiriert von kürzlich vorgeschlagenen neuronalen Radiationsfeldern (NeRF) präsentieren wir eine neuartige Pipeline, KV-EndoNeRF, die begrenzte multimodale Daten (d.h. Robotik-Kinematik und monokulare Endoskopie) zur Rekonstruktion der chirurgischen Szene mit absoluter Skalierung erkundet. Methoden Zunächst extrahieren wir Skalierungsinformationen aus den Robotik-Kinematikdaten und integrieren diese dann in die aus der Struktur aus Bewegung (SfM) rekonstruierte spärliche Tiefe. Basierend auf der spärlichen Tiefenaufsicht passen wir ein monokulares Tiefenschätznetzwerk an die aktuelle chirurgische Szene an, um spezifische grobe Tiefe der Szene zu erhalten. Nach der Anpassung der Skalierung der groben Tiefe verwenden wir diese, um die Optimierung von NeRF zu leiten, was zu einer absoluten Tiefenschätzung führt. Die 3D-Modelle der Gewebeoberfläche mit realer Skalierung werden durch die Fusion feiner Tiefenkarten rekonstruiert. Ergebnisse Experimentelle Ergebnisse zur Stereo-Korrespondenz und Rekonstruktion von Endoskopdaten (SCARED) zeigen, dass KV-EndoNeRF in der Lage ist, eine absolute Skalierung aus der Robotik-Kinematik zu lernen und eine 3D-Rekonstruktion mit reichhaltigen Details der Oberflächentextur und hoher Genauigkeit zu erreichen, die andere bestehende Rekonstruktionsmethoden übertrifft. Fazit Die Kombination multimodaler Bilddaten mit NeRF-basierter Optimierung stellt einen potenziellen Ansatz dar, um eine skalawahre 3D-Rekonstruktion monokularer endoskopischer Szenen zu erreichen.