Marco Unificado y Escalable de Compresión Profunda de Imágenes para Humanos y Máquinas

La compresión de imágenes tiene como objetivo minimizar la cantidad de datos en la representación de imágenes mientras mantiene una cierta calidad visual para los humanos, lo cual es una técnica esencial para el almacenamiento y la transmisión. Recientemente, junto con el desarrollo de la visión por computadora, las máquinas se han convertido en otro receptor principal de imágenes y requieren imágenes comprimidas a un cierto nivel de calidad, que puede ser diferente al de la visión humana. En muchos escenarios, las imágenes comprimidas deben servir tanto a tareas de visión humana como de máquina, pero pocos métodos de compresión están diseñados para ambos objetivos simultáneamente. En este artículo, proponemos un marco unificado y escalable de compresión profunda de imágenes (USDIC) que optimiza conjuntamente la calidad de la imagen según la visión humana y de máquina de manera end-to-end. Para el codificador, proponemos un mecanismo de separación de información (ISM) para dividir las imágenes en características semánticas y visuales, que principalmente se enfoca en el análisis de máquinas y las tareas de visualización humana. Para el decodificador, diseñamos una arquitectura de decodificación escalable. La característica semántica codificada se decodifica primero para tareas de análisis de máquinas, y la imagen se decodifica y reconstruye posteriormente aprovechando las características semánticas decodificadas. Aquí, para eliminar aún más la redundancia entre las características semánticas y visuales de las imágenes, proponemos un modelo de entropía escalable (SEM) con una estrategia de optimización conjunta para reconstruir la imagen utilizando los dos tipos de características decodificadas. Resultados experimentales extensivos muestran que el USDIC propuesto logra un rendimiento mucho mejor en la tarea de análisis de imagen mientras mantiene un rendimiento competitivo en la tarea de reconstrucción de imagen tradicional en comparación con métodos populares de compresión de imágenes.