Seguimiento de Objetos RGBT en Tiempo Real Basado en un Mecanismo de Atención

El seguimiento de fusión de imágenes RGB e infrarrojas térmicas (RGBT) ha atraído un amplio interés en el seguimiento de objetos al aprovechar los beneficios complementarios de la información de ambas modalidades, visible e infrarroja térmica, pero lograr robustez mientras se opera en tiempo real sigue siendo un desafío. Con el objetivo de abordar este problema, este documento propone una red de seguimiento en tiempo real basada en el mecanismo de atención, que puede mejorar la velocidad de seguimiento con un modelo más pequeño y, al mismo tiempo, introducir el mecanismo de atención en el módulo para reforzar la atención a las características importantes, lo que puede garantizar cierta precisión en el seguimiento. Específicamente, las características modales de la imagen visible y la infrarroja térmica se extraen por separado utilizando la columna vertebral de la estructura de doble flujo; luego, las características importantes en los dos modos se seleccionan y mejoran utilizando el mecanismo de atención por canales en el módulo de mejora de selección de características (FSEM) y el Transformer, mientras que se reduce el ruido mediante el uso de circuitos de compuerta. Finalmente, se realiza la fusión de mejora final utilizando el módulo de fusión de ajuste adaptativo espacial por canales (SCAAM) en ambas dimensiones espacial y de canal. El PR/SR del algoritmo propuesto probado en los conjuntos de datos GTOT, RGBT234 y LasHeR son 90.0%/73.0%, 84.4%/60.2% y 46.8%/34.3%, respectivamente, y se ha logrado una buena precisión de seguimiento en general, con una velocidad de hasta 32.3067 fps, cumpliendo con el requisito de tiempo real del modelo.