자연어 지시 이해를 향하여

제약 없는 자연어로 말하는 것은 인간이 로봇과 상호작용하는 직관적이고 유연한 방법입니다. 이러한 종류의 언어적 입력을 이해하는 것은 다양한 단어와 구문이 로봇이 이해할 수 있는 구조로 매핑되어야 하고, 이러한 구조의 요소들이 불확실한 환경에 기초를 두어야 하기 때문에 도전적입니다. 우리는 언어적 입력에서 공간 설명 절차의 시퀀스를 추출하여 자연어 지시를 따르는 시스템을 제시하며, 환경의 기하학 및 감지된 가시 객체에 대한 정보만으로 환경을 통한 가장 가능성 높은 경로를 추론합니다. 우리는 세 가지 주요 구성 요소로 분해되는 확률적 그래픽 모델을 사용합니다. 첫 번째 구성 요소는 "컴퓨터들"과 같은 이정표 구문을 로봇의 인지적 프레임에 기초를 두게 하며, Flickr와 같은 태그가 있는 이미지 데이터베이스의 공존 통계를 활용합니다. 두 번째 공간 추론 구성 요소는 "컴퓨터를 지나"와 같은 공간적 관계가 경로를 얼마나 잘 설명하는지를 판단합니다. 마지막으로, "오른쪽으로 회전"과 같은 동사 구문은 경로에서 방향 변화의 양에 따라 모델링됩니다. 우리의 시스템은 우리 말뭉치의 60% 지시를 실제 목적지에서 15미터 이내로 따르며, 다른 접근방식에 비해 현저하게 우수한 성과를 보여줍니다.