Aprendizado por Reforço Seguro de Ponta a Ponta através de Funções de Barreiras para Tarefas de Controle Contínuo Críticas à Segurança

Os algoritmos de Aprendizado por Reforço (RL) tiveram sucesso limitado além de aplicações simuladas, e uma das principais razões é a ausência de garantias de segurança durante o processo de aprendizado. Sistemas do mundo real falhariam ou quebrariam realisticamente antes que um controlador ótimo pudesse ser aprendido. Para abordar essa questão, propomos uma arquitetura de controlador que combina (1) um controlador baseado em RL sem modelo com (2) controladores baseados em modelo utilizando funções de barreira de controle (CBFs) e (3) aprendizado online das dinâmicas do sistema desconhecidas, a fim de garantir segurança durante o aprendizado. Nossa estrutura geral aproveita o sucesso dos algoritmos de RL para aprender controladores de alto desempenho, enquanto os controladores baseados em CBFs garantem segurança e orientam o processo de aprendizado, restringindo o conjunto de políticas exploráveis. Utilizamos Processos Gaussianos (GPs) para modelar as dinâmicas do sistema e suas incertezas. Nosso novo algoritmo de síntese de controladores, RL-CBF, garante segurança com alta probabilidade durante o processo de aprendizado, independentemente do algoritmo de RL utilizado, e demonstra maior eficiência na exploração de políticas. Testamos nosso algoritmo em (1) controle de um pêndulo invertido e (2) seguimento autônomo de veículos com comunicação veicular sem fio, e mostramos que nosso algoritmo atinge uma eficiência de amostragem muito maior no aprendizado do que outros algoritmos de ponta e mantém segurança durante todo o processo de aprendizado.