OV-DQUO: デノイジングテキストクエリトレーニングとオープンワールド未知オブジェクト監視を備えたオープンボキャブラリ DETR

オープンボキャブラリ検出（OVD）は、検出器が訓練された基盤カテゴリを超えた新しいカテゴリからオブジェクトを検出することを目的としています。しかし、既存の既知カテゴリデータで訓練されたオープンボキャブラリ検出器は、訓練されたカテゴリに対して高い信頼度を割り当て、新しいカテゴリを背景と混同する傾向があります。これを解決するために、私たちはOV-DQUOを提案します。これは、デノイジングテキストクエリトレーニングおよびオープンワールド未知オブジェクト監視を備えたオープンボキャブラリ DETRです。具体的には、オープンワールド検出器によって認識された未知のオブジェクトと一般的な意味を持つテキスト埋め込みのペアから学ぶことを可能にするワイルドカードマッチング手法を導入し、基盤カテゴリと新しいカテゴリの間の信頼度バイアスを緩和します。さらに、オープンワールド未知オブジェクトから追加のノイジークエリボックスペアを合成するデノイジングテキストクエリトレーニング戦略を提案し、コントラスト学習を通じて検出器を訓練し、新しいオブジェクトを背景から区別する能力を向上させます。私たちは、挑戦的なOV-COCOおよびOV-LVISベンチマークで広範な実験を行い、新しいトレーニングデータを必要とせず、それぞれ新しいカテゴリで45.6 AP50および39.3 mAPの最先端の結果を達成しました。モデルとコードは、https://github.com/xiaomoguhz/OV-DQUOで公開されています。