Die Stärkung spärlicher Eingaben von Neuronalen Strahlungsfeldern durch doppelschichtige semantische Anleitung aus dichten neuartigen Ansichten

Neuronale Strahlungsfelder (NeRF) haben bemerkenswerte Fähigkeiten zur photorealistischen Synthese neuartiger Ansichten gezeigt. Ein wesentliches Manko von NeRF ist, dass in der Regel dichte Eingaben erforderlich sind und die Renderqualität bei spärlichen Eingaben drastisch sinkt. In dieser Arbeit heben wir die Wirksamkeit der gerenderten Semantik aus dichten neuartigen Ansichten hervor und zeigen, dass gerenderte Semantik als robustere Form von augmentierten Daten betrachtet werden kann als gerendertes RGB. Unser Ansatz verbessert die Leistung von NeRF, indem er Anleitung aus der gerenderten Semantik einbezieht. Die gerenderte semantische Anleitung umfasst zwei Ebenen: die Aufsichtsebene und die Merkmalsebene. Die Anleitung auf Aufsichtsebene beinhaltet ein bidirektionales Verifikationsmodul, das die Gültigkeit jedes gerenderten semantischen Labels entscheidet, während die Anleitung auf Merkmalsebene ein lernbares Codebuch integriert, das semantisch relevante Informationen kodiert, die von jedem Punkt über den Aufmerksamkeitsmechanismus abgefragt werden, um semantisch relevante Vorhersagen zu erhalten. Die gesamte semantische Anleitung wird in eine selbstverbesserte Pipeline eingebettet. Wir führen außerdem einen herausfordernden Innenbenchmark mit eingeschränkten Eingaben ein, bei dem die Anzahl der Eingaben auf so wenige wie 6 begrenzt ist. Experimente zeigen die Wirksamkeit unseres Ansatzes und er zeigt eine überlegene Leistung im Vergleich zu bestehenden Ansätzen.