Desenfocando Campos de Radiancia Neurales con Ajuste de Paquete Impulsado por Eventos

Los Campos de Radiancia Neurales (NeRF) logran impresionantes resultados en el aprendizaje de representación 3D y síntesis de vistas novedosas con imágenes multivista de alta calidad como entrada. Sin embargo, el desenfoque por movimiento en las imágenes a menudo ocurre en escenas de poca luz y movimiento a alta velocidad, lo que degrada significativamente la calidad de reconstrucción de NeRF. Los métodos anteriores de desenfoque de NeRF luchan por estimar los cambios de pose y iluminación durante el tiempo de exposición, lo que les impide modelar con precisión el desenfoque por movimiento. La cámara de eventos inspirada en la biología que mide cambios de intensidad con alta resolución temporal compensa esta deficiencia de información. En este artículo, proponemos el Ajuste de Paquete Impulsado por Eventos para Desenfocar Campos de Radiancia Neurales (EBAD-NeRF) para optimizar conjuntamente las poses aprendibles y los parámetros de NeRF aprovechando los datos híbridos de eventos-RGB. Se introduce una pérdida de evento de métrica de cambio de intensidad y una pérdida de desenfoque fotométrico para fortalecer el modelado explícito del desenfoque por movimiento de la cámara. Los experimentos en datos sintéticos y reales muestran que EBAD-NeRF puede obtener una trayectoria de cámara precisa durante el tiempo de exposición y aprender representaciones 3D más nítidas en comparación con trabajos anteriores.