SiamEFT: rede híbrida de extração de características adaptativas para rastreamento de objetos multi-domínio em RGBE

Integrar informações multi-domínio de RGB e Evento (RGBE) obtidas por câmeras de evento com alta faixa dinâmica e resolução temporal tem sido considerado um esquema eficaz para rastreamento robusto de objetos. No entanto, os métodos de rastreamento RGBE existentes têm negligenciado as características espaço-temporais únicas em diferentes domínios, levando a falhas e ineficiências no rastreamento de objetos, especialmente para objetos em fundos complexos. Para resolver esse problema, propomos um rastreador inovador baseado em redes híbridas de extração de características adaptativas de tempo, denominado Siamese Event Frame Tracker (SiamEFT), que se concentra na representação e utilização eficaz das diversas características espaço-temporais do RGBE. Primeiro, projetamos um módulo de atenção adaptativa de tempo para agregar dados de eventos em quadros com base em pesos de tempo adaptativos, a fim de melhorar a representação da informação. Subsequentemente, o módulo SiamEF e o módulo de fusão cruzada que combina redes neurais artificiais e redes neurais de disparo são projetados para extrair e fundir efetivamente as características espaço-temporais do RGBE. Experimentos extensivos em dois conjuntos de dados RGBE (VisEvent e COESOT) mostram que o SiamEFT alcança uma taxa de sucesso de 0,456 e 0,574, superando os métodos concorrentes de ponta e exibindo um aumento de 2,3 vezes na eficiência. Esses resultados validam a precisão e eficiência superiores do SiamEFT em cenas diversas e desafiadoras.