Los FourierNets permiten el diseño de codificadores ópticos altamente no locales para la imagen computacional

Las simulaciones diferenciables de sistemas ópticos pueden combinarse con redes de reconstrucción basadas en aprendizaje profundo para habilitar una imagen computacional de alto rendimiento a través de la optimización de extremo a extremo (E2E) tanto del codificador óptico como del decodificador profundo. Esto ha permitido aplicaciones de imagen como la microscopía de localización 3D, la estimación de profundidad y la fotografía sin lentes mediante la optimización de codificadores ópticos locales. Las aplicaciones de imagen computacional más desafiantes, como la microscopía instantánea 3D que comprime volúmenes 3D en imágenes 2D individuales, requieren un codificador óptico altamente no local. Mostramos que los decodificadores de redes profundas existentes tienen sesgo de localidad que impide la optimización de codificadores ópticos tan altamente no locales. Abordamos esto con un decodificador basado en una arquitectura de red neuronal superficial utilizando redes neuronales convolucionales de kernel global Fourier (FourierNets). Mostramos que los FourierNets superan a los decodificadores basados en redes profundas existentes en la reconstrucción de fotografías capturadas por el codificador óptico altamente no local DiffuserCam. Además, mostramos que los FourierNets permiten la optimización E2E de codificadores ópticos altamente no locales para la microscopía instantánea 3D. Al combinar FourierNets con una simulación óptica diferenciable a gran escala multi-GPU, somos capaces de optimizar codificadores ópticos no locales de 170 a 7372 veces mayores que el estado del arte anterior, y demostrar el potencial para la codificación óptica específica tipo ROI con un microscopio programable.