言語対応空間オントロジーによる屋内および屋外の3Dシーングラフ生成

本論文では、任意の屋内および屋外環境における3Dシーングラフを構築するアプローチを提案します。このような拡張は困難であり、屋外環境を記述する概念の階層は屋内よりも複雑であり、その階層を手動で定義することは時間がかかり、スケーラビリティがありません。さらに、トレーニングデータの不足は、屋内環境で使用される学習ベースのツールの直接的な適用を妨げます。これらの課題に対処するために、2つの新しい拡張を提案します。まず、屋内および屋外のロボット操作に関連する概念と関係を定義する空間オントロジーを構築する方法を開発します。特に、大規模言語モデル（LLM）を使用してそのようなオントロジーを構築し、必要な手動作業の量を大幅に削減します。次に、論理テンソネットワーク（LTN）を使用して3Dシーングラフ構築のために空間オントロジーを活用し、論理ルールや公理（例えば、「ビーチには砂が含まれている」）を追加し、トレーニング時に追加の監視信号を提供することでラベル付きデータの必要性を減少させ、より良い予測を提供し、さらにはトレーニング時に未見の概念を予測できるようにします。屋内、農村、海岸環境を含むさまざまなデータセットで私たちのアプローチをテストし、希薄に注釈されたデータでの3Dシーングラフ生成の質が大幅に向上することを示します。