Barreiras de comunicação significativas são frequentemente encontradas entre pessoas surdas e/ou com dificuldades de fala, o que é particularmente grave durante emergências. Este estudo propõe uma nova conversão de sinais para voz baseada em visão que reconhece gestos manuais através de uma rede neural convolucional incorporada com pré-processamento avançado e classificação baseada em transformadores. Um conjunto de dados de gestos personalizado foi criado capturando imagens e quadros de vídeo rotulados sob diferentes fundos, condições de iluminação e orientações das mãos para treinamento adequado. Filtragem de pele, subtração de fundo, remoção de ruído e extração de regiões de interesse são incorporadas para pré-processar os gestos brutos para melhor representação antes da aprendizagem de características. Resultados experimentais mostram 99% de precisão, 97% de revocação e um F1-score de 97%, enquanto medidas de erro baixo (PSNR 33,1 dB e MSE 0,03) indicam a alta confiabilidade do sistema com sensibilidade mínima ao ruído. A comparação demonstra que o pipeline proposto CNN-transformer supera significativamente as técnicas clássicas baseadas em templates ou cores. Dada sua robustez e generalizabilidade, este sistema pode, portanto, apoiar a comunicação prática em tempo real e atuar como uma tecnologia assistiva promissora para aumentar a acessibilidade, especialmente para pessoas com deficiência em situações de comunicação de urgência.
Gajjala et al. (Wed,) estudaram esta questão.