堅牢なMPCを用いた安全な強化学習

強化学習（RL）は最近、さまざまなアプリケーションで驚くべき結果を出し、世界を驚かせています。RLの潜在能力は今や確立されていますが、安全性や安定性の問題など、まだ多くの重要な側面に取り組む必要があります。これらの問題はRLコミュニティにとっては二次的なものである一方で、広く調査されている制御コミュニティにとっては中心的な問題です。モデル予測制御（MPC）は、他の制御技術と比べて、特に不確定な制約付きシステムに対しても、そのような保証を提供できる能力があるため、最も成功した制御技術の一つです。MPCは最適化に基づく技術であるため、最適性もしばしば主張されます。残念ながら、MPCの性能は予測に使用されるモデルの正確性に大きく依存します。本記事では、RLとMPCを組み合わせて、両者の利点を活かし、最適で安全なコントローラーを得ることを提案します。シミュレーションにおける2つの数値例で結果を示します。