Decodificación de señales de habla silenciosa a partir de señales bioeléctricas musculares para colaboraciones eficientes entre humanos y robots

Resumen Las interfaces de discurso silencioso ofrecen una modalidad de comunicación alternativa y eficiente para individuos con trastornos de la voz y cuando la comunicación verbal está comprometida por entornos ruidosos. A pesar del reciente progreso en el desarrollo de interfaces de discurso silencioso, estos sistemas enfrentan varios desafíos que impiden su amplia aceptación, como su tamaño, intrusividad e inmovilidad. En este trabajo, se presentan la optimización de materiales, el diseño estructural, el algoritmo de aprendizaje profundo y la integración del sistema de interfaces de discurso silencioso que son mecánica y visualmente discretas y que pueden realizar tanto la identificación del hablante como la identificación del contenido del habla. Se diseñan matrices de electrodos de electromiografía conformables, transparentes y autoadhesivas para capturar actividades musculares relevantes para el habla. Se emplean redes temporales convolucionales para reconocer a los hablantes y convertir las señales de detección en contenido hablado. Las interfaces de discurso silencioso resultantes logran una precisión de clasificación de hablantes del 97,5% y una precisión de clasificación de palabras clave del 91,5% utilizando cuatro electrodos. La interfaz de habla se integra además con un sistema óptico de seguimiento de manos y un manipulador robótico para la colaboración humano-robot tanto en procesos de ensamblaje como de desensamble. El sistema integrado logra el control del manipulador robótico mediante discurso silencioso y facilita el proceso de entrega a través de la detección de la trayectoria del movimiento de las manos. El marco desarrollado permite un control natural del robot en entornos ruidosos y sienta las bases para tareas colaborativas entre humanos y robots que involucren a múltiples operadores humanos.