力を感じる: 力とポーズを統合して模倣学習を通じて流暢な発見を実現し、医薬品ボトルを開ける

実世界の物体に対する複雑なロボット操作ポリシーを学ぶことは困難であり、コントロールされた環境内での重要な調整を必要とすることが多い。本論文では、複数の段階と可変構造を持つタスクを実行するための操作モデルを学ぶ。このようなタスクは、通常、ほとんどのロボット操作アプローチには適していない。モデルは、手のポーズと接触力の両方を測定する触覚グローブを使用して、人間のデモンストレーションから学習される。触覚グローブは、シーンの視覚的に潜在的な変化、特に医薬品ボトルのチャイルドセーフティメカニズムを解除するために課せられた力の観察を可能にする。これらの観察から、タスクシーケンスの構成的性質を表すために上から下への確率的文法モデル（And-Orグラフ）と、観察されたポーズや力からの下から上への識別モデルの両方を通じてアクションプランナーを学ぶ。これら二つの項目は、計画中に結合されて次の最適なアクションを選択する。この人間特有の知識をロボットプラットフォームに転送する方法を示し、ロボットが同様のタスク構造を持つ未知の物体を成功裏に操作できることを実証する。