Banco de Pruebas de Seguimiento RGB-Sonar y Transformador de Atención Cruzada Espacial

La cámara de visión y el sonar son naturalmente complementarios en el entorno submarino. Combinar la información de dos modalidades promoverá una mejor observación de los objetivos submarinos. Sin embargo, este problema no ha recibido suficiente atención en investigaciones anteriores. Por lo tanto, este documento introduce una nueva tarea desafiante de seguimiento RGB-Sonar (RGB-S) e investiga cómo lograr un seguimiento eficiente de un objetivo submarino a través de la interacción de las modalidades RGB y sonar. Específicamente, primero proponemos un conjunto de datos de referencia RGBS50 que contiene 50 secuencias y más de 87000 cajas delimitadoras anotadas de alta calidad. Los resultados experimentales muestran que la referencia RGBS50 plantea un desafío para los rastreadores SOT actualmente populares. En segundo lugar, proponemos un rastreador RGB-S llamado SCANet, que incluye un módulo de atención cruzada espacial (SCAM) que consiste en una nueva capa de atención cruzada espacial y dos módulos de integración global independientes. La atención cruzada espacial se utiliza para superar el problema de desalineación espacial entre las imágenes RGB y sonar. En tercer lugar, proponemos un método de entrenamiento simulado basado en datos SOT RGB-S (SRST) para superar la falta de conjuntos de datos de entrenamiento RGB-S. Este convierte imágenes RGB en imágenes de saliencia parecidas a sonar para construir pares de datos pseudo, permitiendo que el modelo aprenda la estructura semántica de datos similares a RGB-S. Experimentos completos muestran que la atención cruzada espacial propuesta logra efectivamente la interacción entre las modalidades RGB y sonar y SCANet logra un rendimiento de vanguardia en la referencia propuesta. El código está disponible en https://github.com/LiYunfengLYF/RGBS50.