粗いシミュレーターからのトレーニングデータを利用したソフトロボットアームのためのQ学習制御方法

ソフトロボットの制御は困難であり、強化学習の方法が有望な結果をもたらしています。しかし、サンプル効率が低いため、強化学習の方法には大量のトレーニングデータの収集が必要であり、これが応用を制限します。本論文では、粗いシミュレーターからのデータを使用して事前学習したモデルを適用して制御器の性能を向上させる物理的ソフトロボットのためのQ学習コントローラを提案します。この方法を私たちのソフトロボット、すなわちハニカムPneumatic Network (HPN)アームに実装しました。実験により、事前学習モデルの使用が実世界のトレーニングデータの量を減らすだけでなく、その精度と収束率を大幅に向上させることも示されました。