인지 스티칭: 비주얼 로봇 정책을 위한 제로샷 인지 인코더 전이

비전 기반 모방 학습은 시각적 관찰을 통해 로봇에 다양한 운동 기술을 부여하는 데 유망한 능력을 보여주었습니다. 그러나 현재의 비주얼 모터 정책은 시각적 관찰의 극단적인 변화에 적응하지 못합니다. 우리는 시각 인코더의 새로운 조합을 직접 연결하여 큰 시각적 변화에 강력한 제로샷 적응을 가능하게 하는 인지 스티칭을 제안합니다. 우리의 핵심 아이디어는 서로 다른 비주얼 모터 정책 간의 잠재적 시각적 특징을 정렬하여 시각 인코더의 모듈성을 강화하는 것입니다. 우리의 방법은 인지 지식을 하류 운동 기술과 분리하고 부분적으로 다른 시각조건으로 훈련된 정책 네트워크에 직접 연결하여 시각 인코더의 재사용을 허용합니다. 우리는 다양한 시뮬레이션 및 실제 조작 작업에서 우리의 방법을 평가했습니다. 기준 방법들이 모든 시도에서 실패했지만, 우리의 방법은 실제 비주얼 모터 작업에서 제로샷 성공을 달성할 수 있었습니다. 정책 네트워크의 학습된 특징에 대한 정량적 및 정성적 분석은 우리의 제안된 방법의 높은 성과에 대한 더 많은 통찰을 제공합니다.