COMMET: 日常タスクのモバイル操作における人為的対立のためのシステム

ロボティクスとAIの継続的な進歩により、産業から日常環境へのロボットの統合が進んでいます。しかし、日常生活における動的で予測不可能な人間の行動は、ロボットの行動と直接的または間接的に対立することがあります。さらに、このような人為的対立の社会的属性により、解決策は常に一意ではなく、ユーザーの個人的な好みに大きく依存します。これらの課題に対処し、家庭用ロボットの開発を促進するために、私たちはCOMMETを提案します。これは、日常タスクのモバイル操作における人為的対立のためのシステムです。COMMETはハイブリッド検出アプローチを採用し、マルチモーダル検索から始まり、低信頼度のケースでは微調整されたモデル推論に進みます。収集されたユーザーの好みや設定に基づいて、GPT-4oを使用して関連ケースからユーザーの好みを要約します。予備研究では、私たちの検出モジュールはGPTモデルと比較してより高い精度とレイテンシを示しています。将来の研究を促進するために、ユーザーデータ収集用の使いやすいインターフェースを設計し、現実世界での展開に向けた効果的なワークフローを示します。