Rumo à Codificação para Visão Humana e de Máquina: Codificação Escalável de Imagens Faciais

As últimas décadas testemunharam o rápido desenvolvimento de técnicas de codificação de imagens e vídeos na era dos grandes dados. No entanto, o design do pipeline de codificação orientado pela fidelidade do sinal limita a capacidade dos atuais frameworks de codificação de imagens/vídeos para atender às necessidades tanto da visão de máquina quanto da visão humana. Neste artigo, apresentamos um novo framework de codificação de imagens faciais aproveitando tanto os modelos compressivos quanto os modelos generativos, para suportar tarefas de visão de máquina e percepção humana de forma conjunta. Dada uma imagem de entrada, a análise de características é aplicada primeiro, e então o modelo generativo é empregado para reconstruir a imagem com estrutura compacta e características de cor, onde bordas esparsas são extraídas para conectar ambos os tipos de visão e um método chave de seleção de pixels de referência é proposto para determinar as prioridades dos pixels de cor de referência para codificação escalável. O mapa de bordas compacto serve como a camada básica para tarefas de visão de máquina, e os pixels de referência atuam como uma camada aprimorada para garantir a fidelidade do sinal para a visão humana. Ao introduzir modelos generativos avançados, treinamos uma rede de decodificação para reconstruir imagens a partir de representações de estrutura compacta e cor, que é flexível para aceitar entradas de maneira escalável e controlar o efeito visual das saídas entre fidelidade do sinal e realismo visual. Resultados experimentais e análise de desempenho abrangente sobre o conjunto de dados de imagens faciais demonstram a superioridade do nosso framework tanto em tarefas de visão humana quanto em tarefas de visão de máquina, proporcionando evidências úteis sobre os esforços emergentes de padronização no MPEG VCM (Codificação de Vídeo para Máquina).