Gesture Talk : Sistema de Reconocimiento de Lengua de Señas Multimodal

Para la comunidad sorda, la lengua de señas es un medio esencial de comunicación. Es una lengua tridimensional que utiliza manos que se mueven dinámicamente y visualmente para representar letras y palabras. El campo del reconocimiento de gestos ha atraído una atención significativa y se utiliza ampliamente en la academia y la industria. Este trabajo se centra en la creación de un sistema integral que pueda reconocer gestos manuales complejos realizados por humanos y utilizarlos para operar dispositivos o expresar ideas y sentimientos. Al ofrecer un fuerte sustituto del lenguaje hablado convencional, esta tecnología mejora la capacidad de una persona para interactuar y participar en la sociedad. Curiosamente, diferentes naciones con lenguas habladas similares suelen tener diferentes lenguas de señas. Por ejemplo, la Lengua de Señas Americana (ASL), la Lengua de Señas Británica (BSL) y la Lengua de Señas Australiana (Auslan) están todas incluidas en el idioma inglés. En este trabajo, nos enfocamos en la Lengua de Señas Americana (ASL) para desarrollar un sistema que pueda interpretar palabras escritas a partir de gestos manuales de ASL, reconociéndolos y analizándolos primero. Al combinar el reconocimiento de gestos de ASL con salida de audio, nuestra investigación busca cerrar la brecha de comunicación y promover un entorno más inclusivo y accesible para aquellos que son sordos o tienen dificultades auditivas.