非監視共同特徴学習とRGB-Dシーンラベリングのための符号化

既存のほとんどのRGB-D屋内シーンラベリングアプローチは、各モダリティに対して手作りの特徴を独立して使用し、それらをヒューリスティックな方法で結合します。生のRGB-Dデータから直接特徴を学習する試みもいくつかありましたが、パフォーマンスは満足できるものではありませんでした。本論文では、RGB-Dシーンラベリングのための非監視共同特徴学習および符号化（JFLE）フレームワークを提案します。我々の学習フレームワークの主な新規性は、特徴学習と特徴符号化の共同最適化にあり、一貫した方法でパフォーマンスを大幅に向上させます。基本的な学習構造を重ねることで、より高次元の特徴が導出され、RGB-Dデータをより良く表現するために低次の特徴と組み合わされます。さらに、データの非線形固有特性を探求するために、非線形マッピングをJFLEに導入したより一般的な共同深層特徴学習および符号化（JDFLE）フレームワークを提案します。ベンチマークのNYU深度データセット上での実験結果は、我々のアプローチが最先端の手法と比較して競争力のあるパフォーマンスを達成することを示しており、我々の方法は複雑な特徴の手作りや特徴の結合を必要とせず、他のデータセットにも簡単に適用可能です。