Reiluminación profunda basada en imágenes a partir de muestras óptimas escasas

Presentamos un método de reiluminación basado en imágenes que puede sintetizar la apariencia de la escena bajo una iluminación novel y distante desde el hemisferio visible, a partir de solo cinco imágenes capturadas bajo luces direccionales predefinidas. Nuestro método utiliza una red neuronal convolucional profunda para regredir la imagen reiluminada a partir de estas cinco imágenes; esta red de reiluminación se entrena en un gran conjunto de datos sintético compuesto por formas generadas proceduralmente con reflectancias del mundo real. Demostramos que al combinar una red de muestreo diseñada a medida con la red de reiluminación, podemos aprender conjuntamente tanto las direcciones óptimas de luz de entrada como la función de reiluminación. Presentamos una evaluación amplia de nuestra red, que incluye un análisis empírico de la calidad de reconstrucción, configuraciones de iluminación óptimas para diferentes escenarios y arquitecturas de red alternativas. Demostramos, en escenas sintéticas y reales, que nuestro método es capaz de reproducir efectos de iluminación complejos y de alta frecuencia, como especularidades y sombras proyectadas, y supera a otros métodos de reiluminación basados en imágenes que requieren un orden de magnitud más de imágenes.