类脑视觉系统处理连续事件流,并为实时应用提供变革性潜力。然而,它们的评估仍然依赖于RGB成像的方法。这些方法将异步事件流转换为同步帧,并忽视感知延迟,造成基准和现实世界性能之间的重大差距。为此,我们提出了基于流的延迟感知评估(STARE)框架。STARE集成了两个核心组件:连续采样,最大化模型吞吐量以减少延迟的影响;以及延迟感知评估,量化延迟引起的在线准确性。为了严格验证STARE,我们开发了ESOT500,一个具有500 Hz注释的高动态物体跟踪数据集。实验表明,延迟严重降低了在线准确性超过50%。我们进一步引入了两种模型增强策略:异步跟踪,一种提升模型吞吐量的快-慢架构;以及上下文感知采样,动态调整输入以处理低事件密度情况。总体而言,我们的工作缩小了模型理论潜力与现实世界部署之间的延迟差距。在类脑视觉中,基于帧的基准显著高估了性能。在这里,作者引入了延迟感知评估框架,缩小了从仿真到现实的差距。
Chu等人(Mon,)研究了这个问题。