Um der steigenden Nachfrage nach flexiblen und robusten Mensch-Maschine-Interaktions-systemen in modernen, insbesondere nutzerzentrierten Anwendungen gerecht zu werden, untersucht diese Arbeit die Integration von LWIR-Kameras in konventionelle RGB-D-Systeme. Zudem werden Methoden zur Analyse von RGB-D-T-Daten erforscht, um das maschinelle Verständnis menschlicher Interaktionsszenarien zu verbessern. Objekte im LWIR-Spektrum weisen Emissions-, Absorptions- und Reflexionseigenschaften auf, die sich deutlich von denen im sichtbaren und nahinfraroten Bereich unterscheiden. Diese Eigenschaften liefern umfassendere primäre physikalische Merkmale, die die Objekttemperatur, Materialzusammensetzung und Oberflächenbeschaffenheit widerspiegeln. Um dieses Potenzial zu nutzen, analysiert diese Dissertation zunächst theoretisch die einzigartigen Merkmale von RGB-D-T-Daten im Vergleich zu RGB-D-Daten und identifiziert zwei zentrale Aspekte: · Interaktionen zwischen Objekten beinhalten häufig Wärmeübertragungsprozesse, wodurch die Oberflächentemperatur eines Objekts dynamisch und unabhängig von einer spezifischen Wärmequelle ist. In dieser Arbeit wird eine erweiterte meshfreie Finite-Differenzen-Methode (FDM) vorgeschlagen, um die Divergenz des Temperatur-gradientenfeldes innerhalb der meshfreien 3D-Struktur von RGB-D-T-Daten zu berechnen. Diese Größe dient als primärer Indikator für zeitliche Temperaturänderungstendenzen. · Eine Analyse der Forschung zur Bildverarbeitung im LWIR-Bereich unterstreicht die Notwendigkeit einer Fusionsanalyse für RGB-D-T-Daten. Daher werden mehrere 3D-Punktwolken-Neuronale-Netzwerke unterschiedlicher Komplexität eingesetzt, um Pixel-Level-Segmentierungsexperimente basierend auf verschiedenen Modalitätskombinationen durchzuführen. Die Ergebnisse zeigen, dass die Fusion von RGB-D-T-Daten anderen Modalitätskombinationen deutlich überlegen ist. Auf Grundlage dieser Prinzipien wurden in dieser Dissertation spezifische Methoden zur Merkmalsextraktion aus RGB-D-T-Daten entwickelt. Darauf aufbauend wurden Ansätze zur Lösung grundlegender Aufgaben der Mensch-Roboter-Interaktion konzipiert, insbesondere zur Identifikation von Hand und Objekt. Darüber hinaus wird die Effektivität dieser Methoden durch zwei praxisnahe robotische Anwendungen validiert: einen interaktiven Übergaberoboter und einen interaktiven Robot-Teaching-Ansatz. Diese Anwendungen verdeutlichen die Herausforderungen statischer oder momentaner Vorhersagen in der Bildverarbeitung realer Szenen, die nicht immer zu einer sinnvollen robotischen Entscheidungsfindung beitragen. Zur Lösung dieses Problems wird ein probabilistischer Mechanismus entwickelt, der solche Vorhersagen dynamisch analysiert. Dies gewährleistet eine logische Entscheidungsfindung in der Mensch-Roboter-Interaktion und reduziert den Einfluss irrelevanter Vorhersagen auf das Roboterverhalten.
Yan Zhang (Wed,) studied this question.