Key points are not available for this paper at this time.
다중 모달 인간-로봇 상호작용을 위한 인터페이스를 설명합니다. 이 인터페이스는 사람들이 새로운 로봇에게 방 안의 물체와 장소의 다양한 속성을 음성 명령과 제스처를 통해 소개할 수 있도록 합니다. 로봇은 인간과의 소통을 통해 학습한 지식을 바탕으로 방의 환경 지도를 작성하고 이 지도를 내비게이션에 활용합니다. 개발된 시스템은 자연어 처리, 자세 인식, 물체 위치 지정 및 지도 생성을 포함한 여러 섹션으로 구성되어 있습니다. 이 시스템은 여러 정보 출처와 모델 매칭을 결합하여 인간의 손을 감지하고 추적하여 사용자가 관심 있는 물체를 가리키고 로봇을 그 물체 근처로 안내하거나 방 안에서 해당 물체의 위치를 파악할 수 있도록 합니다. 방 안의 물체 위치는 단안 카메라 시각 및 초점에서 깊이 방법을 통해 파악됩니다.
Ghidary 외.(수요일)의 연구는 이 질문을 다룹니다.