Interacción con la mirada, los gestos y el habla en un sistema de realidad aumentada flexiblemente configurable

La interacción multimodal se ha convertido recientemente en un foco de investigación, ya que ofrece una mejor experiencia de usuario en los sistemas de realidad aumentada (AR). Sin embargo, la mayoría de los trabajos existentes solo combinan dos modalidades a la vez, por ejemplo, gestos y habla. Rara vez se ha investigado un sistema interactivo multimodal que integre señales de la mirada. En este artículo, proponemos un sistema interactivo multimodal que integra la mirada, los gestos y el habla en un sistema de AR flexiblemente configurable. Nuestro dispositivo ligero montado en la cabeza admite de forma simultánea un seguimiento preciso de la mirada, el reconocimiento de gestos manuales y el reconocimiento de voz. El sistema se puede configurar fácilmente en diversas combinaciones de modalidades, lo que nos permite investigar los efectos de diferentes técnicas de interacción. Evaluamos la eficiencia de estas modalidades mediante dos tareas: la tarea de ajuste del brillo de una lámpara y la tarea de manipulación de un cubo. También recopilamos comentarios subjetivos sobre el uso de dichos sistemas. Los resultados experimentales demuestran que la modalidad Mirada+Gesto+Habla es superior en términos de eficiencia, y que la modalidad Gesto+Habla es la más preferida por los usuarios. Nuestro sistema abre el camino hacia un sistema interactivo multimodal de AR que permite una configuración flexible.