SMM: Modelo de Constancia de Color de Múltiple Iluminación Auto-supervisado con Múltiples Tareas Pretextuales

La constancia de color es una habilidad importante del sistema visual humano para percibir colores constantes a través de diferentes iluminaciones. En este artículo, estudiamos una tarea más práctica pero desafiante: eliminar el matiz de color causado por múltiples iluminaciones espaciales variables. Los métodos anteriores están limitados por la escala de los actuales conjuntos de datos de multi-iluminación, lo que impide que aprendan características más discriminativas. En su lugar, proponemos primero un modelo de constancia de color con múltiples iluminaciones auto-supervisado que aprovecha múltiples tareas pretextuales para explorar completamente la información contextual del color de la iluminación y la información inherente del color sin usar anotaciones manuales. Durante la fase de pre-entrenamiento, entrenamos múltiples codificadores basados en Transformer al aprender múltiples tareas pretextuales: (i) la tarea de recuperación de distorsión de color local, que está cuidadosamente diseñada para aprender la representación contextual del color de la iluminación, y (ii) la tarea de colorización, que se utiliza para adquirir conocimiento inherente. En la tarea de constancia de color de abajo hacia arriba, ajustamos los codificadores y diseñamos un decodificador ligero para obtener mejores distribuciones de iluminación con menos parámetros. Nuestra arquitectura ligera supera a los métodos de última generación en el banco de pruebas de múltiples iluminantes (LSMI) y obtuvo un rendimiento robusto en el banco de pruebas de un solo iluminante (NUS-8). Además, extensos estudios de ablación y resultados de visualización demuestran la efectividad de integrar el aprendizaje de información contextual del color de la iluminación y el color inherente de manera auto-supervisada.