로봇 잡기 작업 지시를 위한 다중 모달 인간-기계 커뮤니케이션

지능형 로봇 실현의 주요 도전 과제는 일반 사용자가 로봇을 쉽게 직관적으로 프로그램할 수 있도록 인지 능력을 제공하는 것입니다. 이러한 프로그래밍 접근 방식 중 하나는 상호작용 시연을 통한 작업 과제를 가르치는 것입니다. 이를 사용자에게 효과적이고 편리하게 만들기 위해 기계는 공통의 주의 집중을 설정할 수 있어야 하며, 구술 지침, 시각적 인식, 제스처 명령과 같은 비언어적 단서들을 사용하고 통합할 수 있어야 합니다. 우리는 통계적 방법, 신경망 및 유한 상태 기계를 결합하여 인간-기계 상호작용을 통해 잡기 작업을 지시하는 통합 시스템을 구축하는 진행 상황을 보고합니다. 이 시스템은 시각적 주의 및 제스처 지침을 위한 GRAVIS 로봇과 음성 인식 및 언어적 해석을 위한 지능형 인터페이스, 그리고 다중 모달 작업 지향 인간-기계 커뮤니케이션을 가능하게 하는 모달리티 융합 모듈을 결합하여 물체의 숙련된 로봇 조작을 지원합니다.