소프트 액터-크리틱 및 생성적 적대 모사 학습을 기반으로 한 로봇 조작기의 궤적 추적 제어

본 논문에서는 생성적 적대 모사 학습(GAIL)과 장기 단기 기억(LSTM)을 기반으로 한 심층 강화 학습(DRL) 접근법을 제시하여, 조작기의 동적 및 운동학 모델을 학습하지 않고도 포화 제약과 무작위 방해가 있는 로봇 조작기의 추적 제어 문제를 해결합니다. 구체적으로, 토크와 관절 각도를 일정 범위로 제한합니다. 첫째, 훈련 중 불안정성 문제를 해결하고 안정성 정책을 얻기 위해 소프트 액터-크리틱(SAC)과 LSTM이 결합됩니다. 로봇 조작기 시스템을 위해 설계된 LSTM 아키텍처를 사용하여 시간에 따른 관절 위치의 변화 추세를 보다 포괄적으로 포착하고 이해함으로써, 추적 제어 작업을 위한 로봇 조작기의 훈련 중 불안정성을 줄입니다. 둘째, SAC-LSTM에 의해 얻어진 정책은 GAIL이 더 나은 제어 정책을 학습할 수 있도록 전문가 데이터를 제공합니다. 이 SAC-LSTM-GAIL(SL-GAIL) 알고리즘은 알려지지 않은 환경을 탐색하는 데 시간을 소모할 필요가 없으며, 안정적인 전문가 데이터에서 직접 제어 전략을 학습합니다. 마지막으로, 시뮬레이션 결과에 의해 로봇 추적 작업의 말단 효과기가 제안된 SL-GAIL 알고리즘에 의해 효과적으로 수행되며, 다른 알고리즘에 비해 간섭이 있는 테스트 환경에서 더 우수한 안정성을 나타냅니다.