Um aprendizado por reforço baseado em memória e atenção para robôs musculoesqueléticos com conhecimento prévio das sinergias musculares

Objetivo Limitados pelos tipos de sensores, as informações de estado disponíveis para robôs musculoesqueléticos com músculos altamente redundantes e não lineares costumam ser incompletas, o que torna o controle um problema de gargalo. O objetivo deste artigo é projetar um método para melhorar o desempenho do movimento de robôs musculoesqueléticos em cenários parcialmente observáveis e aproveitar o conhecimento ontológico para aumentar a adaptabilidade do algoritmo a robôs musculoesqueléticos que passaram por mudanças. Design/metodologia/abordagem Um método de aprendizado por reforço baseado em memória e atenção é proposto para robôs musculoesqueléticos com conhecimento prévio das sinergias musculares. Primeiro, para lidar com estados parcialmente observados disponíveis para robôs musculoesqueléticos, uma arquitetura de rede baseada em memória e atenção é proposta para inferir estados mais suficientes e intrínsecos. Em segundo lugar, inspirado pela hipótese de sinergia muscular na neurociência, o conhecimento prévio das sinergias musculares de um robô musculoesquelético é embutido na estrutura da rede e na modelagem da recompensa. Resultados Com base na validação sistemática, constatou-se que o método proposto demonstra superioridade em relação ao algoritmo tradicional de gradientes de política determinística de atrasos duplos (TD3). Um robô musculoesquelético com músculos altamente redundantes e não lineares é adotado para implementar tarefas direcionadas a objetivos. No caso de estados de 21 dimensões, a eficiência e a precisão do aprendizado são significativamente melhoradas em comparação com o algoritmo TD3 tradicional; no caso de estados de 13 dimensões sem velocidades e informações do efeito final, o TD3 tradicional é incapaz de completar as tarefas de alcance, enquanto o método proposto quebra esse problema de gargalo. Originalidade/valor Neste artigo, um novo método de aprendizado por reforço baseado em memória e atenção com conhecimento prévio das sinergias musculares é proposto para robôs musculoesqueléticos lidarem com cenários parcialmente observáveis. Comparado com os métodos existentes, o método proposto melhora efetivamente o desempenho. Além disso, este artigo promove a fusão da neurociência e da robótica.