Audio-visuelle Sprachverbesserung in geräuschvollen Umgebungen durch emotionsbasierte kontextuelle Hinweise

In realen Umgebungen verschlechtert Hintergrundgeräusch signifikant die Verständlichkeit und Klarheit der menschlichen Sprache. Die audio-visuelle Sprachverbesserung (AVSE) versucht, die Sprachqualität wiederherzustellen, jedoch erfüllen bestehende Methoden oft nicht die Erwartungen, insbesondere in dynamischen Geräuschbedingungen. Diese Studie untersucht die Einbeziehung von Emotionen als neuem kontextuellen Hinweis innerhalb der AVSE und hegt die Hypothese, dass die Integration emotionaler Verständnisse die Leistung der Sprachverbesserung steigern kann. Wir schlagen ein neuartiges, emotionsbewusstes AVSE-System vor, das sowohl auditive als auch visuelle Informationen nutzt. Es extrahiert emotionale Merkmale aus den Gesichtsmarkern des Sprechers und fusioniert diese mit den entsprechenden audio- und visuellen Modalitäten. Diese angereicherten Daten dienen als Eingabe für ein tiefes UNet-basiertes Encoder-Decoder-Netzwerk, das speziell dafür entworfen wurde, die Fusion multimodaler Informationen, die mit Emotionen angereichert sind, zu orchestrieren. Das Netzwerk verfeinert iterativ die verbesserte Sprachdarstellung durch eine Encoder-Decoder-Architektur, geleitet von wahrnehmungsinspirierten Verlustfunktionen für gemeinsames Lernen und Optimierung. Wir trainieren und bewerten das Modell anhand des CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) Datensatzes, einer reichen Sammlung audio-visueller Aufnahmen mit annotierten Emotionen. Unsere umfassende Bewertung demonstriert die Wirksamkeit von Emotionen als kontextuellen Hinweis für AVSE. Durch die Integration emotionaler Merkmale erzielt das vorgeschlagene System signifikante Verbesserungen sowohl in objektiven als auch in subjektiven Bewertungen der Sprachqualität und Verständlichkeit, insbesondere in herausfordernden Geräuschumgebungen. Im Vergleich zu Basislinien-AVSE- und audio-only Sprachverbesserungssystemen zeigt unser Ansatz eine merkliche Steigerung in PESQ und STOI, was auf eine höhere wahrgenommene Qualität und Verständlichkeit hinweist. Großangelegte Hörtests bestätigen diese Ergebnisse und deuten auf ein verbessertes menschliches Verständnis der verbesserten Sprache hin.