Benchmark de Rastreamento RGB-Sonar e Rastreador Transformer de Atenção Cruzada Espacial

Câmera submarina e sonar são naturalmente complementares no ambiente subaquático. Combinar as informações de duas modalidades promoverá uma melhor observação de alvos subaquáticos. No entanto, esse problema recebeu pouca atenção em pesquisas anteriores. Portanto, este artigo introduz uma nova e desafiadora tarefa de rastreamento RGB-Sonar (RGB-S) e investiga como alcançar um rastreamento eficiente de um alvo subaquático por meio da interação das modalidades RGB e sonar. Especificamente, primeiro propomos um conjunto de dados de benchmark RGBS50 contendo 50 sequências e mais de 87.000 caixas delimitadoras anotadas de alta qualidade. Os resultados experimentais mostram que o benchmark RGBS50 apresenta desafios significativos para os rastreadores SOT atualmente populares. Em segundo lugar, propomos dois rastreadores RGB-S, chamados SCANet e SCANet-Refine. Eles incluem um módulo de atenção cruzada espacial (SCAM) consistindo em uma nova camada de atenção cruzada espacial, um módulo de refinação de atenção e dois módulos de integração global independentes. A atenção cruzada espacial é utilizada para superar o problema de desalinhamento espacial entre imagens RGB e sonar. Em terceiro lugar, propomos um método de treinamento simulado baseado em dados SOT RGB-S (SRST) para superar a falta de conjuntos de dados de treinamento RGB-S. Ele converte imagens RGB em imagens de saliência semelhantes ao sonar para construir pares de dados pseudo, permitindo que o modelo aprenda a estrutura semântica dos dados RGB-S. Experimentos abrangentes mostram que a atenção cruzada espacial proposta efetivamente alcança a interação entre as modalidades RGB e sonar, e que SCANet e SCANet-Refine alcançam desempenho de ponta no benchmark proposto. O código está disponível em https://github.com/LiYunfengLYF/RGBS50.