Modelo de reponderação e interação em três estágios para rastreamento robusto RGB-T

• Propor um framework de três estágios para rastreamento adaptativo de objetos RGB-T • Modelar dinamicas temporais, interação semântica e consistência de fusão em conjunto • Desenvolver uma estratégia de reponderação temporal para ajustar adaptativamente a confiabilidade da modalidade • Alcançar um alinhamento cross-modal fino para rastreamento robusto e estável As modalidades RGB e infravermelho térmico (TIR) fornecem pistas visuais complementares, permitindo um rastreamento mais robusto em condições de iluminação e clima adversos. No entanto, a maioria dos rastreadores RGB-T existentes foca na agregação de características estáticas, sem perceber como a confiabilidade da modalidade evolui ao longo do tempo e através de cenas. Isso muitas vezes leva a um desempenho instável quando a visibilidade de uma modalidade flutua ou degrada. Para abordar essa questão, propomos um framework de Reponderação e Interação de Modalidade Progressiva em Três Estágios (TPMRI) que modela progressivamente dinâmicas temporais, interação semântica e consistência de fusão global. Especificamente, uma estratégia de reponderação modal temporal captura variações temporais de curto prazo e ajusta dinamicamente a confiabilidade da modalidade; um mecanismo de interação entre modalidades estabelece um alinhamento semântico fino entre características RGB e TIR, facilitando a compensação de informações guiadas por TIR; e uma fase de fusão consciente da modalidade realiza agregação global adaptativa para representações estáveis e consistentes. Esses três módulos são integrados no componente central, denominado Estrutura de Interação Progressiva em Três Estágios (TPI), que unifica modelagem temporal, semântica e global dentro de um único framework. Ao incorporar TPI no rastreador, o TPMRI mitiga efetivamente a acumulação de viés temporal e melhora a robustez em condições dinâmicas. Experimentos extensivos nos benchmarks GTOT, RGBT234 e LasHeR demonstram que nosso método alcança uma precisão de rastreamento superior e taxa de sucesso em comparação com rastreadores RGB-T de última geração.