SelfBlending : Augmentation pilotée par l'intelligence artificielle avec des interactions manuelles pour un mélange de réalité sans couture dans des environnements virtuels

Accéder à des objets du monde réel lors d'expériences de réalité virtuelle immersive (VR) reste un défi, car les systèmes de réalité étendue actuels reposent souvent sur des étapes d'interaction prédéfinies, des dispositifs/marqueurs de suivi ou des configurations d'objets fixes. Ils manquent également de soutien pour le rappel personnalisé d'objets, où les utilisateurs peuvent ajouter, retirer ou modifier des objets du monde réel mélangés dans l'environnement virtuel (VE). De nombreux casques de réalité virtuelle (HMD) incluent une technologie de passage pour passer entre les mondes virtuel et réel, mais cela perturbe souvent l'immersion en exigeant un déplacement complet du virtuel au réel. Ainsi, maintenir un équilibre optimal entre virtualité et réalité est difficile. Pour relever ces défis, nous avons développé SelfBlending, un cadre qui utilise le suivi manuel basé sur l'IA pour permettre aux utilisateurs de marquer des objets physiques par des gestes à main levée, puis fusionne l'élément sélectionné dans le VE en utilisant la reconnaissance d'objets, ce qui permet d'interagir avec l'objet réel pertinent. SelfBlending a été évalué par rapport à deux conditions d'interaction courantes : la fonction de passage par défaut dans les HMD VR et l'approche conventionnelle qui consiste à retirer physiquement le HMD pour accéder aux objets du monde réel. Les résultats des interactions assises avec des objets placés sur une table ont montré que SelfBlending améliorait l'expérience utilisateur en augmentant la présence, en soutenant une interaction physique efficace et en améliorant la continuité de la réalité étendue. Il a également permis une interaction sélective avec des objets réels tout en minimisant la perturbation de l'expérience VR.