Um Método de Teleoperação Robótica Guiado por Gestos e Fala Baseado em Interação Móvel com Realimentação de Força Irrestrita

Dispositivos operacionais usados nos métodos tradicionais de teleoperação robótica restringem o espaço para interação. Além disso, dispositivos operacionais e de feedback são frequentemente separados. Assim, o operador tem que alternar sua atenção entre a área de operação e a área de feedback durante a interação, o que é antinatural e ineficiente. Neste artigo, propomos um novo método de teleoperação guiado por gestos e fala, que unifica as áreas de operação, feedback visual e feedback de força, para alcançar um ambiente de interação mais imersivo e natural. Primeiro, um método de interação móvel combinando plataforma de operação móvel e tecnologia de realidade aumentada (RA) é proposto para ampliar o espaço operacional dos operadores. Em segundo lugar, o método de rastreamento de gestos com RA permite que os operadores interajam diretamente com objetos virtuais usando as mãos nuas para uma interação natural. Em terceiro lugar, a interação por fala é introduzida para melhorar a precisão de teleoperações finas e a naturalidade das interações. Em quarto lugar, apresentamos feedback de força irrestrito baseado em tecnologia de força eletromagnética para fornecer aos operadores feedbacks de força sem limitar suas ações. Além disso, uma força guia virtual baseada no campo potencial artificial é apresentada para ajudar os operadores a completar tarefas de alta precisão de forma mais eficiente. Essa abordagem permite que os operadores se concentrem na tarefa sem alternar a atenção, e os resultados experimentais mostram que o método proposto oferece uma interação eficiente e natural para a teleoperação robótica.