Aprendizado por reforço para planejamento de trajetória de manipuladores robóticos espaciais flutuantes livres com evitar colisões e ruídos de observação

Este estudo apresenta uma abordagem nova para o planejamento de trajetória de um manipulador robótico espacial flutuante livre com 6 graus de liberdade, focando na prevenção de colisões e obstáculos por meio do aprendizado por reforço. Ele aborda os desafios do acoplamento dinâmico entre a espaçonave e o manipulador robótico, que afeta significativamente o controle e a precisão no ambiente espacial. Uma função de recompensa inovadora é introduzida no framework de aprendizado por reforço para garantir o alinhamento preciso do efector final do manipulador com seu alvo, apesar das perturbações da espaçonave e da necessidade de evitar obstáculos e colisões. Uma característica chave deste estudo é o uso de quaternions para representação de orientação para evitar as singularidades associadas aos ângulos de Euler convencionais e aprimorar a eficiência do processo de treinamento. Além disso, a função de recompensa incorpora restrições de velocidade das juntas para refinar o planejamento da trajetória das juntas do manipulador, possibilitando uma eficiente prevenção de obstáculos e colisões. Outra característica importante deste estudo é a inclusão de ruído de observação no processo de treinamento para aumentar a robustez do agente. Os resultados demonstram que a função de recompensa proposta possibilita uma exploração eficaz do espaço de ações, levando a alta precisão na realização dos objetivos desejados. O estudo fornece uma base teórica sólida para a aplicação do aprendizado por reforço em operações robóticas espaciais complexas flutuantes livres e oferece insights para futuras missões espaciais.