ビデオ異常検出（VAD）は、期待から逸脱した異常を検出することを目的としており、近年注目が高まっています。VADの既存の進展は主にモデルアーキテクチャとトレーニング戦略に焦点を当てており、評価指標やベンチマークに対しては不十分な注意を払っています。本論文では、VADの評価プロトコルを包括的な実験分析を通じて再考し、現在の実践における3つの重要な制約を明らかにします。1) 既存の指標は、単一のアノテーションバイアスに大きく影響される; 2) 現在の指標は異常の早期検出を十分に評価しない; 3) 利用可能なベンチマークはシーンの過学習を評価する能力が不足している。これらの制約に対処するために、3つの新しい評価方法を提案します。まず、単一のアノテーションバイアスを軽減するために、複数回のアノテーションに対する平均AUC/AP指標を確立します。次に、早期かつ正確な異常検出を評価するための遅延認識平均精度（LaAP）指標を開発します。そして最後に、シーンの過学習を評価するために特別に設計された2つの困難なノーマルベンチマーク（UCF-HN、MSAD-HN）を導入します。提案された評価方法を用いて、10の最先端のVADアプローチの性能比較を報告し、将来のVADモデル開発に新しい視点を提供します。
Liu et al. (Sun) はこの問題を研究しました。