共同物体と物質セグメンテーションのための畳み込み特徴マスキング

セマンティックセグメンテーションのテーマは、畳み込みニューラルネットワーク（CNN）によって学習された強力な特徴のため、相当な進展を遂げてきました。現在のセマンティックセグメンテーションの主要なアプローチは、マスクされた画像領域からCNN特徴を抽出することで形状情報を活用します。この戦略は画像に人工の境界を導入し、抽出された特徴の品質に影響を与える可能性があります。さらに、生の画像ドメインでの操作は、単一の画像上で何千ものネットワークを計算する必要があり、時間がかかります。本論文では、畳み込み特徴をマスキングすることによって形状情報を利用することを提案します。提案するセグメント（例えば、スーパー画素）は畳み込み特徴マップ上のマスクとして扱われます。セグメントのCNN特徴はこれらのマップから直接マスクされ、認識のための分類器を訓練するために使用されます。さらに、同じフレームワークで物体と「物質」（例えば、草、空、水）を扱うための共同的方法を提案します。最先端の結果がPASCAL VOCと新しいPASCAL-CONTEXTのベンチマークで示され、魅力的な計算速度が得られました。