비전-언어 모델을 활용한 다리 로봇 적응을 위한 상식적인 추론

다리 로봇은 다양한 환경을 탐색하고 다양한 장애물을 극복하는 데 물리적으로 능력이 있습니다. 예를 들어, 구조 임무에서 다리 로봇은 잔해를 넘고, 틈을 기어가며, 막다른 길에서 내비게이션을 할 수 있습니다. 그러나 로봇의 제어기는 이러한 다양한 장애물에 지능적으로 대응해야 하며, 이는 예상치 못한 그리고 비정상적인 상황을 성공적으로 처리해야 합니다. 이는 현재의 학습 방법에 대한 개방된 도전 과제로, 이러한 방법들은 종종 많은 인간 감독 없이 예상치 못한 상황의 긴 꼬리에 일반화하는 데 어려움을 겪습니다. 이 문제를 해결하기 위해, 우리는 세상의 구조에 대한 폭넓은 지식과 비전-언어 모델(VLM)의 상식적 추론 능력을 활용하여 다리 로봇이 어려운 모호한 상황을 처리하는 데 도움을 주는 방법을 조사합니다. 우리는 VLM이 다리를 사용하여 즉석에서 적응하는 행동 선택을 이끌어내는 데 발견한 두 가지 중요한 구성 요소를 결합한 시스템인 VLM-예측 제어(VLM-PC)를 제안합니다: (1) 이전 로봇 상호작용에 대한 맥락 적응 및 (2) 미래에 여러 기술을 계획하고 재계획합니다. 우리는 Go1 네 발 로봇을 사용하여 막다른 길, 오르기, 기어가기 등을 포함한 여러 도전적인 실제 장애물 코스에서 VLM-PC를 평가합니다. 우리의 실험 결과는 상호작용의 역사와 미래 계획에 대한 추론을 통해 VLM이 로봇이 자율적으로 인식하고 탐색하며 복잡한 시나리오에서 행동할 수 있게 한다는 것을 보여줍니다. 이러한 복잡한 시나리오는 그렇지 않으면 환경 특정 엔지니어링이나 인간의 안내가 필요합니다.