SGT: 自己指導型変換器による少数ショットセマンティックセグメンテーション

少数ショットセグメンテーション (FSS) タスクに対して、既存の方法は、クロスアテンションやプロトタイプマッチングなどの手法を用いて限られたサポート画像を最大限に活用することで新しいクラスの多様性を捉えようとします。しかし、同じオブジェクトの異なる領域に変動性が存在する事実をしばしば見落とし、画像内の類似性は画像間の類似性よりも高いです。これらの限界に対処するため、本論文では画像内の類似性を活用してオブジェクト間の不一致を改善する自己指導型変換器 (SGT) を提案します。提案されたSGTは、簡単に区別可能な領域を強調し、オブジェクト内の判別が難しい領域によって引き起こされる課題に適応することで、セグメンテーションを選択的にガイドすることができます。洗練された特徴相互作用スキームと新しいSGTモジュールを通じて、我々の手法はさまざまなFSSデータセットで最先端の性能を達成でき、少数ショットセマンティックセグメンテーションにおいて重要な進展を示しています。コードはhttps://github.com/HuHaigen/SGTで公開されております。