Variationen im audiovisuellen Nutzen für die Sprachwahrnehmung in Geräuschen im Vergleich zu Mehrsprechermaskierungen

Die Sprachwahrnehmung ist ein komplexer multimodaler Prozess, der häufig auditive und visuelle Informationen umfasst. Studien zur audiovisuellen Asynchronität in der Sprache zeigen eine Asymmetrie, wobei Zuhörer besser abschneiden, wenn visuelle Hinweise der auditiven Eingabe vorhergehen als folgen. Die vorliegende Studie untersucht, wie audiovisuelle Informationen und Asynchronität die Verständlichkeit von Sprachsätzen über verschiedene akustische Hintergründe hinweg beeinflussen. Wir haben die Hypothese aufgestellt, dass visuelle Informationen und Synchronizität eine wichtigere Rolle unter informeller Maskierung (z. B. Sprach-in-Sprache-Bedingungen) spielen als unter energetischer Maskierung (z. B. Sprach-in-Geräusch-Bedingungen), da visuelle Hinweise dabei helfen könnten, die Zielsprache von der Maskierer-Sprache perceptuell zu trennen. Experiment 1 testete diese Hypothese, indem die Sprachverständlichkeit von audio-only und audio-visueller Sprache in Hintergründen aus Geräuschen oder konkurrierenden Sprechern über eine Reihe von Ziel-zu-Maskierer-Verhältnissen verglichen wurde. Unsere Ergebnisse bestätigten einen größeren audiovisuellen Nutzen für Sprach-in-Sprache- als für Sprach-in-Geräusch-Bedingungen. Experiment 2 testete die Auswirkungen der audiovisuellen zeitlichen Asynchronität. Vorläufige Ergebnisse zeigen eine überraschend flache Funktion in beiden Bedingungen, im Vergleich zu früheren Arbeiten mit einzelnen Wörtern oder Vokalen, wenn die Leistung als Funktion der Asynchronität dargestellt wird. Wenn dies bestätigt wird, deuten diese Ergebnisse darauf hin, dass Stimuli auf Satzebene zusätzliche (kognitive) Prozesse einschließen können, die die Auswirkungen der zeitlichen Asynchronität auf die audiovisuelle Sprachverständlichkeit abmildern. Arbeiten unterstützt durch NIH Grant R01 DC016119.