Red de Integración Multimodal Basada en Transformadores para la Detección de Objetos Salientes RGB-T

La detección de objetos salientes (SOD) se puede aplicar al área de electrónica de consumo, lo que puede ayudar a identificar y localizar objetos de interés. La detección de objetos salientes RGB/RGB-D (profundidad) ha avanzado mucho en los últimos años. Sin embargo, hay mucho espacio para mejorar en la exploración de la complementariedad de la información bimodal para la SOD RGB-T (térmica). Por lo tanto, este documento propone una Red de Integración Multimodal Basada en Transformadores (es decir, TCINet) para detectar objetos salientes en imágenes RGB-T, que puede fusionar adecuadamente las características bimodales y agregar interactivamente características de dos niveles. Nuestro método consiste en los codificadores basados en Transformadores Swin siameses, el módulo de fusión de características multimodal (CFF) y el bloque de decodificación de características basado en interacción (IFD). Aquí, el módulo CFF está diseñado para fusionar la información complementaria de las características bimodales, donde la atención espacial colaborativa enfatiza las regiones salientes y suprime las regiones de fondo de las características bimodales. Además, implementamos el bloque IFD para agregar características de dos niveles, que incluyen la característica fusionada del nivel anterior y la característica del codificador del nivel actual, donde el bloque IFD cierra la gran brecha semántica y reduce el ruido. Se realizan extensos experimentos en tres conjuntos de datos RGB-T, y los resultados experimentales demuestran claramente la superioridad y eficacia de nuestro método en comparación con los métodos de saliencia de vanguardia. Los resultados y el código de nuestro método estarán disponibles en https://github.com/lvchengtao/TCINet.