Campos de Radiancia Neurales de Pocas Imágenes bajo Iluminación No Constrainada

En este artículo, introducimos un nuevo desafío para la síntesis de imágenes de vistas novedosas en entornos prácticos con imágenes de entrada de múltiples vistas limitadas y condiciones de iluminación variables. Los campos de radiancia neurales (NeRF), uno de los trabajos pioneros para esta tarea, exigen un conjunto extenso de imágenes de múltiples vistas tomadas bajo iluminación restringida, lo cual suele ser inalcanzable en entornos del mundo real. Si bien algunos trabajos anteriores han logrado sintetizar vistas novedosas dada imágenes con diferentes iluminaciones, su rendimiento aún depende de un número sustancial de imágenes de entrada de múltiples vistas. Para abordar este problema, proponemos ExtremeNeRF, que utiliza la consistencia del albedo de múltiples vistas, respaldada por el alineamiento geométrico. En específico, extraemos componentes intrínsecos de la imagen que deberían ser invariantes a la iluminación en diferentes vistas, lo que permite una comparación directa de la apariencia entre la entrada y la vista novedosa bajo iluminación no restringida. Ofrecemos resultados experimentales exhaustivos para la evaluación de la tarea, empleando el nuevo benchmark NeRF Extreme creado: el primer benchmark en el mundo real para la síntesis de vistas novedosas bajo múltiples direcciones de vista y diferentes iluminaciones.