Agrupamento Temporal para Rastreamento Adaptativo RGBT

O rastreamento de objetos visuais com espectros de RGB e infravermelho térmico (TIR), abreviado para rastreamento RGBT, é um tópico de pesquisa novo e desafiador que atrai crescente atenção atualmente. Neste artigo, propomos um rastreador RGBT que leva em conta pistas espaço-temporais para o aprendizado robusto do modelo de aparência e, simultaneamente, constrói uma sub-rede de fusão adaptativa para interações cross-modal. Ao contrário da maioria dos rastreadores RGBT existentes que implementam tarefas de rastreamento de objetos apenas com informações espaciais, as informações temporais são consideradas neste método. Especificamente, ao contrário de rastreadores siamêses tradicionais, que obtêm apenas uma imagem de busca durante o processo de seleção de pares de imagens de template-busca, uma amostra de busca extra adjacente à original é selecionada para prever a transformação temporal, resultando em uma maior robustez no desempenho de rastreamento. Quanto ao rastreamento multimodal, devido aos conjuntos de dados RGBT limitados, a sub-rede de fusão adaptativa é anexada ao nosso método no nível de decisão para refletir as características complementares contidas nas duas modalidades. Para projetar um rastreador RGB assistido por infravermelho térmico, as saídas da cabeça de classificação da modalidade TIR são levadas em consideração antes da conexão residual da modalidade RGB. Resultados experimentais extensivos em três conjuntos de dados desafiadores, ou seja, VOT-RGBT2019, GTOT e RGBT210, verificam a eficácia do nosso método. O código será compartilhado em bluehttps: //github.com/Zhangyong-Tang/TAAT.