Tensor4D: Decomposición Neural 4D Eficiente para Reconstrucción y Renderización Dinámica de Alta Fidelidad

Presentamos Tensor4D, un enfoque eficiente y efectivo para la modelación de escenas dinámicas. La clave de nuestra solución es un método de descomposición tensorial 4D eficiente para que la escena dinámica pueda ser representada directamente como un tensor espaciotemporal 4D. Para abordar el problema de memoria que acompaña, descomponemos el tensor 4D de manera jerárquica proyectándolo primero en tres volúmenes conscientes del tiempo y luego en nueve planos de características compactos. De esta manera, la información espacial a lo largo del tiempo se puede capturar simultáneamente de manera compacta y eficiente en memoria. Al aplicar Tensor4D para la reconstrucción y renderización de escenas dinámicas, factorizamos aún más los campos 4D a diferentes escalas en el sentido de que los movimientos estructurales y los cambios dinámicos detallados pueden ser aprendidos de lo grueso a lo fino. La efectividad de nuestro método se valida en escenas sintéticas y del mundo real. Experimentos extensivos muestran que nuestro método es capaz de lograr reconstrucción y renderización dinámica de alta calidad a partir de equipos de cámara de vista escasa o incluso de una cámara monocular. El código y el conjunto de datos se publicarán en https://github.com/DSaurus/Tensor4D.