CheapSE: Verbesserung der magnitude-basierten Sprachverbesserung durch Selbstreferenz

Diese Studie befasst sich mit der kritischen Herausforderung der Sprachverbesserung (SE) in lauten Umgebungen, in denen der Einsatz von Lösungen mit tiefen neuronalen Netzen auf Mikrocontrollern durch ihre umfangreichen Rechenanforderungen behindert wird. Unser Forschungsansatz führt eine neuartige SE-Methode ein, die für MCUs optimiert ist und ein 2-schichtiges GRU-Modell verwendet, das auf den perceptuellen SprachEigenschaften und innovativen Trainingsmethoden basiert. Durch die Einbeziehung von Selbstreferenzsignalen und einer dualen Strategie zur Kompression und Wiederherstellung basierend auf der Mel-Skala entwickeln wir ein effizientes Modell, das für latenzarme Anwendungen geeignet ist. Unser GRU-2L-128-Modell zeigt eine signifikante Reduzierung der Größe und der Rechenanforderungen und erreicht eine Verringerung der Modellgröße um 14,2× und eine Reduzierung der Operationen um 409,1× im Vergleich zu traditionellen DNN-Methoden wie DCCRN, ohne die Leistung zu beeinträchtigen. Dieser Fortschritt bietet eine vielversprechende Lösung zur Verbesserung der Sprachverständlichkeit in ressourcenbeschränkten Geräten und stellt einen entscheidenden Schritt in der SE-Forschung und -Anwendung dar.