マルチオブジェクト追跡における検出とReIDの競争の再考

バランスの取れた精度と速度のため、検出と識別埋め込みを共同で学習するワンショットモデルは、マルチオブジェクト追跡（MOT）で大きな注目を集めています。しかし、ワンショット追跡パラダイムでそれらを二つの独立したタスクとして扱うため、検出と再識別（ReID）の間の本質的な違いと関係が無意識のうちに見過ごされています。これにより、既存の二段階手法と比較して性能が劣ります。本論文では、まずこれら二つのタスクの推論プロセスを解剖し、彼らの間の競争がタスク依存の表現学習を破壊することが避けられないことを明らかにします。この問題に対処するために、自己関係と交差関係の設計を持つ新しい相互ネットワーク（REN）を提案し、それぞれのブランチがタスク依存の表現をより良く学習できるよう促します。提案されたモデルは、有害なタスク競争を和らげることを目的とし、同時に検出とReIDの間の協力を改善します。さらに、ID埋め込みの関連能力を向上させるために、セマンティックレベルのミスアラインメントを防ぐスケール認識注意ネットワーク（SAAN）を紹介します。二つの精巧に設計されたネットワークをワンショットオンラインMOTシステムに統合することによって、我々は強力なMOTトラッカー、すなわちCSTrackを構築しました。我々のトラッカーは、MOT16、MOT17、MOT20データセットにおいて最先端の性能を達成しており、その他の付属機能はありません。さらに、CSTrackは効率的で、単一の現代GPU上で16.4 FPSで動作し、その軽量版はさらに34.6 FPSで動作します。完全なコードはhttps://github.com/JudasDie/SOTSで公開されています。