MOSE: 複雑なシーンにおけるビデオオブジェクトセグメンテーションのための新しいデータセット

ビデオオブジェクトセグメンテーション（VOS）は、特定のオブジェクトをビデオクリップ全体にわたってセグメント化することを目的としています。最先端のVOS手法は、既存のデータセットで優れたパフォーマンス（例：90％以上のJ&F）を達成しています。しかし、既存のデータセットのターゲットオブジェクトは通常比較的顕著で、支配的で、孤立しているため、複雑なシーンにおけるVOSはほとんど研究されていません。VOSを再考し、現実の世界でより適用可能にするために、複雑な環境でのオブジェクトの追跡とセグメンテーションを研究するために、coMplex video Object SEgmentation（MOSE）という新しいVOSデータセットを収集しました。MOSEには、36のカテゴリからなる2,149のビデオクリップと5,200のオブジェクトが含まれており、431,725の高品質なオブジェクトセグメンテーションマスクがあります。MOSEデータセットの最も顕著な特徴は、混雑したオブジェクトや隠れたオブジェクトを持つ複雑なシーンです。ビデオ内のターゲットオブジェクトは他のオブジェクトによって一般的に隠され、一部のフレームでは消失します。提案されたMOSEデータセットを分析するために、提案されたMOSEデータセットにおいて4つの異なる設定で18の既存のVOS手法をベンチマークし、包括的な比較を行います。実験結果は、現在のVOSアルゴリズムが複雑なシーンでオブジェクトを十分に認識できないことを示しています。例えば、半教師付きVOS設定下では、既存の最先端のVOS手法による最高のJ&FはMOSEでわずか59.4％であり、DAVISでの約90％のJ&Fパフォーマンスよりもはるかに低いです。この結果は、既存のベンチマークで優れたパフォーマンスが達成されているにもかかわらず、複雑なシーンでは未解決の課題があることを明らかにしており、将来的にこれらの課題を探求するためにさらなる努力が求められています。提案されたMOSEデータセットはhttps://henghuiding.github.io/MOSEで公開されています。