Richtung Echtzeit-Neuronales Volumen-Rendering auf Mobilgeräten: Eine Messstudie

Neuronale Strahlungsfelder (NeRF) sind eine aufkommende Technik zur Synthese von 3D-Objekten aus 2D-Bildern mit einer Vielzahl von potenziellen Anwendungen. Das Rendern vorhandener NeRF-Modelle ist jedoch extrem rechenintensiv, was eine Unterstützung von Echtzeitinteraktionen auf Mobilgeräten herausfordernd macht. In diesem Papier unternehmen wir die erste Initiative, die hochmoderne Echtzeit-NeRF-Rendering-Technik aus einer Systemperspektive zu untersuchen. Zunächst definieren wir die gesamte Arbeitspipeline des NeRF-Servierungssystems. Anschließend identifizieren wir mögliche Steuerknöpfe, die aus der Perspektive der Kommunikation, Berechnung und visuellen Leistung für das System entscheidend sind. Darüber hinaus wird eine umfassende Messstudie durchgeführt, um die Auswirkungen dieser Steuerknöpfe auf die Systemleistung offenzulegen. Unsere Messergebnisse zeigen, dass verschiedene Steuerknöpfe unterschiedlich zur Verbesserung der Systemleistung beitragen, wobei die Maschengranularität der effektivste Knopf und die Quantisierung der am wenigsten effektive Knopf ist. Darüber hinaus müssen verschiedene Hardwaregeräteeinstellungen und Netzwerkbedingungen berücksichtigt werden, um den vollen Nutzen aus dem Betrieb unter den geeigneten Regelknöpfen zu ziehen.