Un système de réalité virtuelle pour la téléopération immersive et l'exploration en direct avec un robot mobile

Des applications telles que la gestion des catastrophes et l'inspection industrielle nécessitent souvent que les experts entrent dans des lieux contaminés. Pour contourner la nécessité d'une présence physique, il est souhaitable de générer une expérience de téléopération individuelle totalement immersive en direct. Cependant, les approches standard basées sur la vidéo souffrent d'un degré limité d'immersion et de conscience de la situation en raison de la restriction à la vue de la caméra, ce qui impacte la navigation. Dans cet article, nous présentons un nouveau système pratique basé sur la réalité virtuelle pour la téléopération immersive de robots et l'exploration de scènes. Lorsqu'il est opéré à travers la scène, un robot capture des données RGB-D qui sont diffusées vers un système de téléprésence multiclient en direct basé sur SLAM. Ici, un modèle 3D global des parties de scène déjà capturées est reconstruit et diffusé aux clients utilisateurs à distance où le rendu pour des dispositifs tels que les casques de réalité virtuelle (HMD) est réalisé. Nous introduisons un nouveau composant client robot léger qui transmet des données spécifiques au robot et permet une intégration rapide dans des systèmes robotiques existants. De cette manière, contrairement aux systèmes d'exploration à la première personne, les opérateurs peuvent explorer et naviguer sur le site distant de manière complètement indépendante de la position actuelle et de la vue du robot de capture, complétant ainsi les dispositifs d'entrée traditionnels pour la téléopération. Nous fournissons une mise en œuvre de preuve de concept et démontrons les capacités ainsi que la performance de notre système en ce qui concerne les mesures d'objets interactifs et le streaming et la visualisation de données efficaces en bande passante. De plus, nous montrons ses avantages par rapport à une téléopération purement vidéo dans une étude utilisateur révélant un degré de conscience de la situation plus élevé et une navigation plus précise dans des environnements difficiles.