テキスト駆動型の運転動画における時間的高頻度モデリングによる交通異常検出

運転動画における交通異常検出（TAD）は、自律運転や高度運転支援システムの安全を確保するために重要です。従来の単一ステージTAD手法は主にフレーム予測に依存しており、ダッシュボードカメラの迅速な動きによって引き起こされる動的背景からの干渉に脆弱です。背景に依存しない特徴（バウンディングボックスや光フローなど）を事前に抽出することで、こうした干渉を軽減する自然な解決策として二段階TAD手法がありますが、第一段階の知覚アルゴリズムの性能に依存しており、エラーの伝播を引き起こす可能性があります。本論文では、動画クリップをテキストプロンプトに整列させる新しい単一段階手法TTHFを提案し、交通異常検出に新たな視点を提供します。従来のアプローチとは異なり、我々の手法の教師信号は、直交のワンホットベクトルではなく、言語から導出されており、より包括的な表現を提供します。さらに、視覚表現に関しては、運転動画の高頻度を時間ドメインでモデル化することを提案します。このモデリングは運転シーンの動的変化を捉え、運転行動の知覚を向上させ、交通異常の検出を大幅に改善します。加えて、さまざまなタイプの交通異常をより良く知覚するために、視覚的および言語的にモデルが関心のある視覚コンテキストに適応的に焦点を合わせる注意機構を慎重に設計しました。提案するTTHFは、DoTAデータセットで最先端の競合他社に対して+5.4%のAUCを上回る有望な性能を示し、DADAデータセットで高い汎化を達成しています。