Aprendizaje Colaborativo de Modalidad Sincrética para la Re-Identificación de Personas en Infrarrojo Visible

La re-identificación de personas en infrarrojo visible (VI-REID) tiene como objetivo hacer coincidir imágenes de peatones entre las vistas de cámara visibles durante el día y las de cámara infrarroja durante la noche. Las grandes discrepancias entre modalidades se han convertido en el cuello de botella que limita el rendimiento de VI-REID. Los métodos existentes se centran principalmente en capturar representaciones compartibles entre modalidades aprendiendo un clasificador de identidad. Sin embargo, las imágenes heterogéneas de peatones tomadas por diferentes cámaras de espectros difieren significativamente en estilos de imagen, lo que resulta en una inferior discriminabilidad de las representaciones de características. Para aliviar el problema anterior, este documento explora la correlación entre dos modalidades y propone un nuevo modelo de aprendizaje colaborativo de modalidad sincrética (SMCL) para cerrar la brecha entre modalidades. Se construye automáticamente una nueva modalidad que incorpora características de imágenes heterogéneas para guiar la generación de representaciones invariantes a la modalidad. El aprendizaje de homogeneidad mejorada con desafíos (CEHL) y el aprendizaje de similitud distribuida auxiliar (ADSL) se integran para proyectar características heterogéneas en un espacio unificado y aumentar la disparidad entre clases, fortaleciendo así el poder discriminativo. Experimentos extensivos en dos puntos de referencia de modalidades cruzadas demuestran la efectividad y superioridad del método propuesto. Especialmente, en el conjunto de datos SYSU-MM01, nuestro modelo SMCL alcanza un 67.39% de precisión en rango-1 y un 61.78% de mAP, superando los trabajos de vanguardia por un amplio margen.