Aprendizado profundo para vídeo em tempo real de pixel único

Câmaras de pixel único capturam imagens sem a necessidade de um sensor multi-pixel, permitindo o uso de tecnologias de detectores de ponta e fornecendo uma solução potencialmente de baixo custo para detecção além do espectro visível. Uma limitação das câmaras de pixel único é a troca inerente entre resolução da imagem e taxa de quadros, sendo que as técnicas atuais de sensoriamento compressivo (compressivas) não conseguem suportar vídeo em tempo real. Neste trabalho, demonstramos a aplicação de aprendizado profundo com redes de autoencoders convolucionais para recuperar vídeo em tempo real de 128 × 128 pixels a 30 quadros por segundo a partir de uma câmara de pixel único amostrando a uma taxa de compressão de 2%. Além disso, ao treinar a rede em um grande banco de dados de imagens, conseguimos otimizar a primeira camada da rede convolucional, equivalente a otimizar a base utilizada para escanear as intensidades da imagem. Este trabalho desenvolve e implementa uma abordagem nova para resolver o problema inverso para câmaras de pixel único de forma eficiente e representa um passo significativo em direção ao funcionamento em tempo real de imagers computacionais. Ao aprender com exemplos em um contexto particular, nossa abordagem abre a possibilidade de alta resolução para adaptação específica a tarefas, com importância para aplicações em detecção de gases, imagem 3D e metrologia.