自己注意に基づく視覚-触覚融合学習による把握結果の予測

特定の把握が成功するかどうかを予測することは、安定した把握および操作タスクを行う上で重要です。ロボットは、この予測を達成するために、人間のように視覚と触覚を組み合わせる必要があります。このプロセスで解決すべき主な問題は、効果的な視覚-触覚融合特徴を学習する方法です。本論文では、この問題に対処するために、自己注意メカニズムに基づく新しい視覚-触覚融合学習法（VTFSA）を提案します。提案手法を2つの公開マルチモーダル把握データセット上で従来の方法と比較したところ、実験結果はVTFSAモデルが従来の方法を5%以上および7%以上のマージンで上回ることを示しました。さらに、視覚化分析は、VTFSAモデルがこのタスクに有益な位置関連の視覚-触覚融合特徴をさらに捉えることができ、従来の方法よりも堅牢であることを示しています。