RGB-T追跡のための検索領域相互作用とテンプレートの架け橋

RGB-T追跡は、様々なシナリオにおける追跡プロセスを改善するために、RGBおよびTIRモダリティの相互強化と補完能力を活用することを目的としています。このプロセスにおいて、クロスマodal相互作用が重要な要素となります。いくつかの以前の手法は、無駄な背景ノイズが導入される粗い相互作用プロセスを実行するために、RGBとTIRの検索領域特徴を直接連結します。他の多くの方法は、検索フレームから候補ボックスをサンプリングし、RGBとTIRボックスの孤立したペアに対して様々な融合アプローチを実施しますが、これはローカル領域内でのクロスマodal相互作用を制限し、十分なコンテキストモデリングをもたらしません。これらの制限を和らげるために、私たちは新しいテンプレート架け橋検索領域相互作用（TBSI）モジュールを提案します。このモジュールは、ターゲット関連のオブジェクトと環境コンテキストを収集し分配することにより、RGBとTIRの検索領域間のクロスマodal相互作用を仲介する手段としてテンプレートを利用します。元のテンプレートも、テンプレートメディアからの豊富なマルチモーダルコンテキストで更新されます。私たちのTBSIモジュールは、共同特徴抽出、検索テンプレートマッチング、およびクロスマodal相互作用のためにViTバックボーンに挿入されます。三つの人気のRGB-T追跡ベンチマークでの広範な実験により、私たちの手法は新しい最先端のパフォーマンスを達成することが示されました。コードはhttps://github.com/RyanHTR/TBSIで入手可能です。