Die semiotische Kraft der Multimodalität lokalisieren

Dieser Artikel berichtet über Forschung, die versucht, zu charakterisieren, was an digitalen multimodalen Texten kraftvoll ist. Ausgehend von aktuellen theoretischen Arbeiten zum Verständnis der Funktionsweise und der Implikationen multimodaler Kommunikation fordern die Autoren eine kontinuierliche empirische Untersuchung der Rollen, die digitale multimodale Texte in realen Kontexten spielen, und bieten ein Beispiel dafür, wie solche Untersuchungen angegangen werden könnten. Anhand von Daten aus der Praxis des multimedialen digitalen Geschichtenerzählens, insbesondere einem Stück mit dem Titel "Lyfe-N-Rhyme", das von dem Künstler Randy Young aus Oakland, Kalifornien, erstellt wurde (erreichbar unter http://www.oaklanddusty.org/videos.php), erläutern die Autoren die Methode und die Ergebnisse einer feingranularen multimodalen Analyse, die semiotische Beziehungen zwischen verschiedenen, gleichzeitig präsenten Modi aufdeckt. In diesen Beziehungen, argumentieren die Autoren, liegt die expressive Kraft der Multimodalität.