Fotografia em explosão para alta faixa dinâmica e imagens em baixa luminosidade em câmeras móveis

Câmeras de celular têm aberturas pequenas, o que limita o número de fótons que podem captar, levando a imagens ruidosas em baixa luz. Elas também têm pixels pequenos no sensor, o que limita o número de elétrons que cada pixel pode armazenar, resultando em uma faixa dinâmica limitada. Descrevemos um pipeline de fotografia computacional que captura, alinha e mescla uma explosão de quadros para reduzir o ruído e aumentar a faixa dinâmica. Nosso sistema possui várias características chave que ajudam a torná-lo robusto e eficiente. Primeiro, não usamos exposições com variação de bracketing. Em vez disso, capturamos quadros com exposição constante, o que torna o alinhamento mais robusto, e ajustamos essa exposição para evitar a perda de detalhes nas partes mais claras. A imagem mesclada resultante tem sombras limpas e alta profundidade de bits, permitindo que apliquemos métodos padrão de mapeamento de tons HDR. Em segundo lugar, começamos a partir de quadros brutos Bayer em vez dos quadros RGB (ou YUV) demosaicos produzidos por Processadores de Sinal de Imagem (ISPs) comuns em plataformas móveis. Isso nos dá mais bits por pixel e nos permite contornar o mapeamento de tons indesejado e a remoção de ruído espacial do ISP. Em terceiro lugar, usamos um novo algoritmo de alinhamento baseado em FFT e um filtro híbrido 2D/3D de Wiener para remover ruído e mesclar os quadros em uma explosão. Nossa implementação é construída sobre a API Camera2 do Android, que fornece controle da câmera quadro a quadro e acesso a imagens brutas, e é escrita na linguagem específica de domínio Halide (DSL). Ela roda em 4 segundos no dispositivo (para uma imagem de 12 Mpix), não requer intervenção do usuário e é enviada em vários celulares produzidos em massa.