Key points are not available for this paper at this time.
대리인 무관 강화 학습은 다양한 형태의 로봇 집합을 동시에 제어할 수 있는 보편적인 제어 정책을 학습하는 것을 목표로 합니다. 최근 연구에서는 변환기 모델을 사용함으로써 다양한 형태에 의해 발생하는 상태와 행동 공간의 변화를 해결할 수 있다고 제안하며, 정책 성능 향상에 형태학 정보가 필요하다고 강조합니다. 그러나 기존 방법들은 형태학 정보를 활용하는 데 한계가 있으며, 관찰 통합의 합리성을 보장할 수 없습니다. 우리는 형태학 적응형 변환기(MAT)를 제안합니다. MAT는 수정 없이 다양한 형태에 적응할 수 있는 변환기 기반의 보편적인 제어 알고리즘입니다. MAT는 기능적 위치 인코딩과 형태학적 주의 메커니즘이라는 두 가지 필수 요소를 포함합니다. 기능적 위치 인코딩은 사지 관찰을 위한 강력하고 일관된 위치 사전 정보를 제공하여 사지 혼동을 피하고 사지의 기능적 설명을 암묵적으로 얻습니다. 형태학적 주의 메커니즘은 사지의 속성 사전 정보를 향상시키고, 관찰 간의 상관관계를 개선하며, 정책이 더 많은 사지에 주의를 기울이도록 만듭니다. 우리는 관찰과 사전 정보를 결합하여 정책이 로봇의 형태에 적응하도록 도와줍니다. 이렇게 하여 알려지지 않은 형태로 성능을 최적화합니다. Gym MuJoCo 환경에서의 대리인 무관 작업에 대한 실험 결과, 우리의 알고리즘이 각 사지에 보다 합리적인 형태학 사전 정보를 할당할 수 있으며, 우리의 알고리즘 성능이 우수한 일반화 능력을 가진 기존 최첨단 알고리즘에 버금가는 것으로 나타났습니다.
Li et al. (Mon,)은 이 질문을 연구했습니다.