Multimodale Interaktion in einem Augmented-Reality-Szenario

Wir beschreiben ein Augmented-Reality-System, das für die online Erlangung visuellen Wissens und die Abrufung gespeicherter Objekte konzipiert wurde. Das System basiert auf einer kopfmontierten Kamera und Anzeige, die es dem Benutzer ermöglichen, die Umgebung zusammen mit den vom System überlagerten Augmentationen zu sehen. In diesem Setup ist die Kommunikation durch Handgesten und Sprache erforderlich, da gängige Eingabegeräte wie Maus und Tastatur nicht verfügbar sind. Mit Gesten und Sprache müssen grundsätzlich drei Arten von Aufgaben bewältigt werden: (i) Kommunikation mit dem System über die Umgebung, insbesondere die Aufmerksamkeit auf Objekte zu lenken und das Merken von Musteransichten zu befiehlt; (ii) Steuerung des Systembetriebs, z.B. Wechseln zwischen Anzeigemodi; und (iii) Neuanpassung der Schnittstelle selbst, falls die Kommunikation aufgrund von Änderungen äußerer Faktoren, wie Beleuchtungsbedingungen, unzuverlässig wird. Wir präsentieren eine Architektur zur Verwaltung dieser Aufgaben und beschreiben sowie bewerten mehrere ihrer Schlüsselaspekte, einschließlich Module zur Erkennung von Zeigegesten, Menüsteuerung basierend auf Gesten und Sprache sowie Steuerungsstrategien, um mit Situationen umzugehen, in denen die Sicht unzuverlässig wird und durch Sprache neu angepasst werden muss.