Snowflake-Punktdekonvolution zur Vervollständigung und Generierung von Punktwolken mit Skip-Transformer

Die meisten bestehenden Methoden zur Vervollständigung von Punktwolken leiden unter der diskreten Natur von Punktwolken und der unstrukturierten Vorhersage von Punkten in lokalen Regionen, was es schwierig macht, feine lokale geometrische Details aufzudecken. Um dieses Problem zu lösen, schlagen wir SnowflakeNet mit der Schneeflocken-Punktdekonvolution (SPD) vor, um vollständige Punktwolken zu generieren. SPD modelliert die Generierung von Punktwolken als wachstumsähnlich wie eine Schneeflocke, wobei Kinderpunkte schrittweise durch das Aufteilen ihrer Elternpunkte nach jeder SPD erzeugt werden. Unser Ansatz zur detaillierten Geometrie besteht darin, einen Skip-Transformer in die SPD einzuführen, um die Punktaufteilungsmuster zu erlernen, die am besten zu den lokalen Regionen passen. Der Skip-Transformer nutzt einen Aufmerksamkeitsmechanismus, um die Aufteilungsmuster zusammenzufassen, die in der vorherigen SPD-Ebene verwendet wurden, um die Aufteilung in der aktuellen Ebene zu erzeugen. Die lokal kompakten und strukturierten Punktwolken, die durch SPD erzeugt werden, geben die strukturellen Merkmale der 3D-Form in lokalen Bereichen präzise wieder, was es uns ermöglicht, hochdetaillierte Geometrien vorherzusagen. Darüber hinaus ist SPD eine allgemeine Operation, die nicht auf die Vervollständigung beschränkt ist; wir erkunden ihre Anwendungen in anderen generativen Aufgaben, einschließlich Auto-Encoding von Punktwolken, Generierung, Einzelbildrekonstruktion und Upsampling. Unsere experimentellen Ergebnisse übertreffen die State-of-the-Art-Methoden unter weit verbreiteten Benchmarks.