심층 강화 학습 기반의 조작기 궤적 최적화 및 적응 제어 연구

이 논문에서는 복잡한 동적 환경에서 조작기의 실시간, 안전성 및 적응성 간의 모순을 해결하기 위해 심층 강화 학습(DRL)을 기반으로 한 조작기의 궤적 최적화 및 적응 제어 방법을 연구한다. 비구조적 간섭 하의 전통적인 제어 방법의 한계를 염두에 두고, 안전 RL 메커니즘을 통합한 고급 궤적 최적화 계층과 저급 적응 제어 계층을 포함하는 계층적 제어 아키텍처가 제안된다. 고급에서는 시간-연속 합성 네트워크(TCN)와 주의 메커니즘을 결합하여 시간-연속 환경 정보를 처리하고 안전 제약을 충족하는 궤적 매개변수를 생성한다; 저급에서는 슬라이딩 모드 제어의 매개변수 적응 모듈이 설계되어 리아푸노프 함수에 의해 안정성이 보장된다. 7자유도 Franka Emika 조작기 플랫폼에서 실험이 수행되었다. 결과는 제안된 방법이 동적 장면에서 가장 짧은 궤적 길이, 가장 낮은 평균 추적 오류 및 가장 낮은 충돌률(2.1%)을 가지며, 가장 빠른 계획 속도와 가장 낮은 에너지 소비를 보여주고, 전통적인 모델 예측 제어(MPC), 안전 제약이 없는 DRL 및 고정 슬라이딩 모드 제어 방법에 비해 상당히 우수함을 나타낸다. 소거 실험은 각 모듈이 시스템 성능에 기여한 정도를 추가로 검증하였고, 완전 시스템의 통합 성능이 가장 우수하여 가장 낮은 추적 오류, 충돌률 및 합리적인 계획 시간을 달성하였다.