EndoDAC: Effizientes Anpassungsmodell für selbstüberwachtes Tiefen Schätzen von jeder endoskopischen Kamera

Die Tiefenschätzung spielt eine entscheidende Rolle in verschiedenen Aufgaben der endoskopischen Chirurgie, einschließlich Navigation, Oberflächenrekonstruktion und Augmented-Reality-Visualisierung. Trotz der erheblichen Erfolge von Grundlagenmodellen in visuelle Aufgaben, einschließlich der Tiefenschätzung, führt ihre direkte Anwendung im medizinischen Bereich oft zu suboptimalen Ergebnissen. Dies unterstreicht den Bedarf an effizienten Anpassungsmethoden, um diese Modelle an die endoskopische Tiefenschätzung anzupassen. Wir schlagen Endoscopic Depth Any Camera (EndoDAC) vor, ein effizientes selbstüberwachtes Tiefenschätzungsframework, das Grundlagenmodelle an endoskopische Szenen anpasst. Speziell entwickeln wir die Dynamische Vektor-basierte Niedrig-Rank-Anpassung (DV-LoRA) und verwenden Convolutional Neck-Blöcke, um das Grundlagenmodell an den chirurgischen Bereich anzupassen und dabei bemerkenswert wenige trainierbare Parameter zu nutzen. Da Kamerainformationen nicht immer zugänglich sind, führen wir auch eine selbstüberwachte Anpassungsstrategie ein, die die Kamera-Intrinsics mithilfe des Pose Encoders schätzt. Unser Framework kann ausschließlich mit monokularen chirurgischen Videos von beliebigen Kameras trainiert werden, wodurch die Trainingskosten minimal bleiben. Experimente zeigen, dass unser Ansatz eine überlegene Leistung selbst mit weniger Trainingsepochen und ohne Wissen über die tatsächlichen Kamera-Intrinsics erzielt. Code ist verfügbar unter https://github.com/BeileiCui/EndoDAC.