Aprendiendo a predecir la iluminación interior a partir de una sola imagen

Proponemos un método automático para inferir la iluminación de alto rango dinámico a partir de una sola fotografía de rango dinámico bajo y de campo de visión limitada de una escena interior. A diferencia de trabajos anteriores que dependen de la captura de imágenes especializada, la entrada del usuario y/o modelos simples de escena, entrenamos una red neuronal profunda de extremo a extremo que regresa directamente una foto de campo de visión limitado a la iluminación HDR, sin suposiciones fuertes sobre la geometría de la escena, las propiedades de los materiales o la iluminación. Mostramos que esto se puede lograr en un proceso de tres pasos: 1) entrenamos un clasificador de iluminación robusto para anotar automáticamente la ubicación de las fuentes de luz en un gran conjunto de datos de mapas de entornos LDR, 2) usamos estas anotaciones para entrenar una red neuronal profunda que predice la ubicación de las luces en una escena a partir de una sola foto de campo de visión limitado, y 3) ajustamos esta red utilizando un pequeño conjunto de datos de mapas de entornos HDR para predecir las intensidades lumínicas. Esto nos permite recuperar automáticamente estimaciones de iluminación HDR de alta calidad que superan significativamente los métodos anteriores de vanguardia. En consecuencia, utilizar nuestras estimaciones de iluminación para aplicaciones como la inserción de objetos en 3D, produce resultados fotorrealistas que validamos a través de un estudio perceptual de usuarios.