Key points are not available for this paper at this time.
Die Integration von RGB- und Ereignis-(RGBE)-Informationsmulti-Domänen, die von hochdynamischen und temporalen Ereigniskameras gewonnen werden, wird als effektives Schema für robustes Objekt-Tracking betrachtet. Allerdings haben bestehende RGBE-Tracking-Methoden die einzigartigen spatio-temporalen Merkmale über verschiedene Domänen hinweg vernachlässigt, was zu Misserfolgen und Ineffizienzen beim Objekt-Tracking führt, insbesondere bei Objekten vor komplexen Hintergründen. Um dieses Problem anzugehen, schlagen wir einen neuartigen Tracker vor, der auf hybriden Netzwerken zur adaptiven zeitlichen Merkmalsextraktion basiert, nämlich dem Siamese Event Frame Tracker (SiamEFT), der sich auf die effektive Darstellung und Nutzung der vielfältigen spatio-temporalen Merkmale von RGBE konzentriert. Zunächst entwerfen wir ein adaptives Aufmerksamkeitsmodul, um Ereignisdaten basierend auf adaptiven Zeitgewichten in Frames zu aggregieren, um die Informationsdarstellung zu verbessern. Anschließend werden das SiamEF-Modul und das Cross-Network-Fusionsmodul, das künstliche neuronale Netze und spiking neuronale Netzwerke kombiniert, entworfen, um die spatio-temporalen Merkmale von RGBE effektiv zu extrahieren und zu fusionieren. Umfangreiche Experimente an zwei RGBE-Datensätzen (VisEvent und COESOT) zeigen, dass der SiamEFT eine Erfolgsquote von 0.456 bzw. 0.574 erreicht, was die modernen konkurrierenden Methoden übertrifft und eine 2,3-fache Steigerung der Effizienz aufweist. Diese Ergebnisse validieren die überlegene Genauigkeit und Effizienz von SiamEFT in vielfältigen und herausfordernden Szenen.
Liu et al. (Thu,) haben diese Frage untersucht.