支援ロボットのための多様な家庭環境におけるマルチモーダルモデルの堅牢性テスト

家庭内作業を支援するロボットエージェントの開発は進んでいるものの、根底にあるモデルは実世界の複雑さを反映しない仮想環境で操作することが多い。支援ケアロボットが多様な環境で効果的であるためには、モデルが堅牢であり、複数のモダリティを統合している必要がある。薄暗い部屋で支援を必要とする介護者や、新しく設置されたガラスドアの周りを移動することを考えてみてほしい。視覚入力のみに依存するモデルは低照度では失敗するかもしれないが、深度情報を使用するモデルはドアを避けることができる。これは、さまざまな感覚入力を処理できるモデルの必要性を示している。我々の進行中の研究では、AI2Thor仮想環境における最先端のロボットモデルを評価している。照明の暗さや鏡の壁などの干渉を導入し、移動や視覚、物体認識などのモダリティに与える影響を評価している。私たちの目標は、Geriatronicsコミュニティから入力を集め、実務者が直面する課題を理解し、モデル化することである。