マスキングされた再帰型ネットワークによる単眼セマンティックシーン補完

単眼セマンティックシーン補完（MSSC）は、単一視点のRGB画像からボクセル単位の占有率およびセマンティックカテゴリを予測することを目的としています。既存の方法は、可視領域のセグメンテーションと遮蔽領域のハルシネーションを同時に達成しようとする単一段階のフレームワークを採用しており、不正確な深度推定の影響を受けます。そのような方法は、特に複雑なシーンにおいて最適でないパフォーマンスを達成することがよくあります。私たちは、MSSCを粗いMSSCとマスキングされた再帰ネットワークに分解する新しい二段階フレームワークを提案します。具体的には、提案されたマスク更新メカニズムによって占有領域に集中するマスキングされたスパースゲーテッド再帰ユニット（MS-GRU）を提案し、計算コストを削減するためのスパースGRU設計を提案します。さらに、観察された表面までの距離に応じて異なる注意スコアを割り当てることで投影誤差を減少させる距離注意投影を提案します。実験結果は、私たちが提案する統一フレームワークであるMonoMRNが、屋内および屋外のシーンの両方を効果的にサポートし、NYUv2およびSemanticKITTIデータセットで最先端のパフォーマンスを達成することを示しています。さらに、さまざまな妨害下での堅牢性分析を行い、マスキングされた再帰ネットワークがそのような課題に対するモデルの耐性を高める役割を強調しています。ソースコードは公開されています。