Desacoplamiento adversarial y aprendizaje de representación invariante a modalidad para la reidentificación de personas visible-infrarroja

La reidentificación de personas visible-infrarroja (RGB-IR ReID) ha atraído cada vez más atención debido a sus aplicaciones de vigilancia en entornos de poca luz. Sin embargo, las grandes variaciones intraclase entre diferentes dominios siguen siendo un problema desafiante en el campo de la visión por computadora. Para abordar este problema, proponemos un nuevo método de aprendizaje de representación invariante a modalidad y desacoplamiento adversarial (DMiR) para explorar representaciones potencialmente invariables al espectro pero discriminativas por identidad para peatones de diferentes modalidades. Nuestro modelo consta de tres componentes clave, incluyendo el Desenredado de Representación Relacionado con el Dominio (DrRD), la Representación Discriminativa Invariante a Modalidad (MiDR) y la Decorrelación Ortogonal de Representación (ROD). Primero, se diseñan dos subredes llamadas Identity-Net y Domain-Net para extraer características relacionadas con la identidad y características relacionadas con el dominio, respectivamente. Dada esta estructura de dos corrientes, se introduce el DrRD para lograr un desacoplamiento adversarial contra características específicas del dominio a través de un proceso de desenredado min-max. Específicamente, la función objetivo de clasificación en Domain-Net se minimiza para extraer información específica del espectro mientras se maximiza para reducir la información específica del dominio. En segundo lugar, en Identity-Net, introducimos MiDR para mejorar la compacidad intraclase y reducir las variaciones del dominio explorando variaciones de pares positivos y negativos, diferencias semánticas y variaciones semánticas por pares. Finalmente, la correlación entre las dos características descompuestas, es decir, características relacionadas con la identidad y características relacionadas con el dominio, puede llevar a la introducción de información modal en las representaciones de identidad, y viceversa. Por lo tanto, presentamos la restricción ROD para hacer que las dos características descompuestas no estén relacionadas entre sí, lo que puede separar más efectivamente las características de dos componentes y mejorar las representaciones de características. En la práctica, construimos ROD a nivel de características y a nivel de parámetros, y finalmente seleccionamos ROD a nivel de características como la estrategia de decorrelación debido a su superior rendimiento de decorrelación. Todo el esquema conduce a desenredar información dependiente del espectro, así como a purificar la información de identidad. Se llevan a cabo extensos experimentos en dos conjuntos de datos principales de RGB-IR ReID, y los resultados demuestran la efectividad de nuestro método.