モデル参照軌道追跡のための不確実な自律車両向けの安全な強化学習とモデルベース加速

制御システム設計に強化学習 (RL) アルゴリズムを適用することは、潜在的に安全でない探索や低いサンプル効率のために依然として難しい課題です。本論文では、不確実な自律車両 (AVs) の衝突回避モデル参照軌道追跡問題を解決するための新しい安全なモデルベースのRLアルゴリズムを提案します。まず、ガウス過程 (GP) 回帰を用いてシステムの不確実性の推定を組み込むことで、不確実なAVsの衝突回避のための新しいタイプのロバスト制御バリア関数 (CBF) 条件が導出されます。次に、ロバストCBFベースのRL制御構造が提案され、名目制御入力はRLポリシーとモデルベースの参照制御ポリシーで構成されます。二次計画問題から得られる実際の制御入力は、衝突回避、入力飽和、および速度の制約を比較的高い確率で同時に満たすことができます。最後に、この制御構造内で、Dynaスタイルの安全なモデルベースのRLアルゴリズムが提案され、安全な探索はロバストCBFベースのアクションを実行することによって達成され、サンプル効率はGPモデルを活用することによって向上します。提案されたRL制御構造の優れた学習性能は、シミュレーション実験を通じて実証されます。