IPoD: Implizites Feldlernen mit Punktdiffusion zur verallgemeinerbaren 3D-Objektrekonstruktion aus einzelnen RGB-D Bildern

Die verallgemeinerbare 3D-Objektrekonstruktion aus Einzelansichten von RGB-D-Bildern bleibt eine herausfordernde Aufgabe, insbesondere mit Daten aus der realen Welt. Aktuelle Methoden, die den Stand der Technik repräsentieren, entwickeln Transformer-basiertes implizites Feldlernen, das ein intensives Lernparadigma erfordert, das eine dichte Abfrageüberwachung erfordert, die gleichmäßig im gesamten Raum über einen gesamten Bereich verteilt ist. Wir schlagen einen neuartigen Ansatz, IPoD, vor, der das implizite Feldlernen mit der Punktdiffusion harmonisiert. Dieser Ansatz behandelt die Abfragepunkte für das implizite Feldlernen als eine rauschende Punktwolke zur iterativen Rauschunterdrückung, was eine dynamische Anpassung an die Form des Zielobjekts ermöglicht. Solche adaptiven Abfragepunkte nutzen die Fähigkeit des Diffusionslernens zur groben Formwiederherstellung und verbessern auch die Fähigkeit der impliziten Darstellung, feinere Details zu kennzeichnen. Darüber hinaus wird ein zusätzliches Selbst-Konditionierungsmechanismus entworfen, um implizite Vorhersagen als Leitfaden für das Diffusionslernen zu verwenden, was zu einem kooperativen System führt. Experimente, die am CO3D-v2-Datensatz durchgeführt wurden, bestätigen die Überlegenheit von IPoD, mit einer Verbesserung von 7,8 % im F-Score und 28,6 % im Chamfer-Abstand im Vergleich zu bestehenden Methoden. Die Verallgemeinerbarkeit von IPoD wird auch am MVImgNet-Datensatz demonstriert. Unsere Projektseite befindet sich unter https://yushuang-wu.github.io/IPoD.