Augmentation basée sur la conversion vocale et un modèle hybride CNN-LSTM pour améliorer la reconnaissance de mots-clés indépendante de l'orateur sur des ensembles de données limités

La reconnaissance de mots-clés est la base de la reconnaissance vocale, et son application augmente rapidement dans le repérage de mots-clés, la robotique et la surveillance des maisons intelligentes. En raison de ces applications avancées, il est crucial d'améliorer l'exactitude de la reconnaissance des mots-clés. Dans cet article, nous proposons une augmentation basée sur la conversion vocale (VC) pour augmenter le dataset limité d'entraînement et une fusion d'un réseau de neurones convolutifs (CNN) et d'un modèle de mémoire à court et long terme (LSTM) pour une reconnaissance robuste des mots-clés isolés indépendante de l'orateur. Collecter et préparer une quantité suffisante de données vocales pour la reconnaissance vocale indépendante de l'orateur est une tâche fastidieuse et lourde. Pour surmonter cela, nous avons généré de nouvelles voix brutes à partir des voix originales en utilisant une méthode d'autoencodeur variationnel conditionnel (ACVAE) avec un classificateur auxiliaire. Dans cette étude, l'intention principale de la conversion vocale est d'obtenir de nombreuses voix de mots-clés humaines variées qui ne sont pas identiques à la prononciation des orateurs source et cible. La VC parallèle a été utilisée pour maintenir avec précision le contenu linguistique. Nous avons examiné les performances des techniques d'augmentation basées sur la conversion vocale proposées en utilisant des algorithmes robustes de réseau de neurones profonds. Les données d'entraînement originales, excluant les voix générées à l'aide d'autres techniques d'augmentation de données et de régularisation, ont été considérées comme la référence. Les résultats ont montré qu'incorporer l'augmentation par conversion vocale dans les techniques d'augmentation de référence et appliquer le modèle CNN-LSTM a amélioré l'exactitude de la reconnaissance des mots-clés isolés.