포커스-그런 다음 결정: 세분화 지원 강화 학습

시각적 강화 학습(RL)은 인간과 유사한 지능을 달성하기 위한 유망한 접근 방식입니다. 그러나 현재 소음이 있는 환경에서 효율적으로 학습하는 데 어려움이 있습니다. 대조적으로, 인간은 이전에 습득한 일반 지식을 적용하여 혼란이 가득한 환경에서 빠르게 작업과 관련된 객체를 식별할 수 있습니다. 최근 자연어 처리 및 컴퓨터 비전 분야의 기본 모델들이 놀라운 성공을 거두었으며, 이러한 모델 내의 공통 지식은 하위 작업 훈련에 크게 기여할 수 있습니다. 이러한 성과에서 영감을 받아, 우리는 기본 모델의 공통 지식을 시각적 RL에 통합하는 것을 목표로 합니다. 우리는 에이전트가 작업과 관련된 객체만을 기반으로 결정을 내릴 수 있도록 허용하는 새로운 포커스-그런 다음 결정(FTD) 프레임워크를 제안합니다. 이를 달성하기 위해, 우리는 기본 세분화 모델이 반환한 객체 세트에서 작업과 관련된 객체를 선택하는 주의 메커니즘을 도입하고, 결정 모듈의 후속 훈련에 작업과 관련된 객체만 사용합니다. 또한, 이 주의 메커니즘의 빠른 학습을 촉진하기 위해 두 가지 일반적인 자기 감독 목표를 특별히 사용했습니다. DeepMind Control Suite와 Franka Emika Robotics 기반의 도전적인 작업에 대한 실험 결과는 우리 방법이 소음이 있는 환경에서 관심 있는 객체를 빠르고 정확하게 지적할 수 있음을 보여줍니다. 결과적으로, 이는 현재 최첨단 알고리즘에 비해 상당한 성능 개선을 이루었습니다. 프로젝트 페이지: https://www.lamda.nju.edu.cn/chenc/FTD.html 코드: https://github.com/LAMDA-RL/FTD