Fortschrittliche kreuzmodale Wissensdestillation zur Erkennung menschlicher Handlungen

Tragbare sensorbasierte Erkennung menschlicher Handlungen (HAR) hat kürzlich bemerkenswerte Erfolge erzielt. Die Genauigkeitsleistung der tragbaren sensorbasierten HAR liegt jedoch immer noch weit hinter denjenigen von visuell basierten Systemen (d.h. RGB-Video, Skelett und Tiefe). Verschiedene Eingangsmodalitäten können ergänzende Hinweise liefern und somit die Genauigkeitsleistung von HAR verbessern, aber wie man multimediale Daten in der tragbaren sensorbasierten HAR nutzen kann, wurde selten untersucht. Zurzeit können tragbare Geräte, d.h. Smartwatches, nur begrenzte Arten von nicht-visuellen Modalitätsdaten erfassen. Dies behindert die multimodale HAR-Visualisierung, da es nicht möglich ist, gleichzeitig sowohl visuelle als auch nicht-visuelle Modalitätsdaten zu verwenden. Eine weitere große Herausforderung besteht darin, wie man multimodale Daten auf tragbaren Geräten mit ihren begrenzten Rechenressourcen effizient nutzen kann. In dieser Arbeit schlagen wir ein neuartiges Modell zur progressiven Wissensdestillation von Skelett zu Sensor (PSKD) vor, das nur zeitabhängige Daten, d.h. Accelerometerdaten, von einer Smartwatch nutzt, um das Problem der tragbaren sensorbasierten HAR zu lösen. Insbesondere konstruieren wir mehrere Lehrermodelle, die Daten sowohl aus der Lehrer- (menschliche Skelettsequenz) als auch aus der Schüler- (zeitabhängige Accelerometerdaten) Modalität nutzen. Darüber hinaus schlagen wir ein effektives progressives Lernschema vor, um die Leistungslücke zwischen Lehrer- und Schülermodellen zu schließen. Wir haben auch eine neuartige Verlustfunktion namens Adaptive-Confidence Semantic (ACS) entworfen, die es dem Schülermodell ermöglicht, adaptiv entweder eines der Lehrermodelle oder das tatsächliche Label auszuwählen, das es nachahmen muss. Um die Wirksamkeit unserer vorgeschlagenen PSKD-Methode zu demonstrieren, führen wir umfassende Experimente an den Berkeley-MHAD-, UTD-MHAD- und MMAct-Datensätzen durch. Die Ergebnisse bestätigen, dass die vorgeschlagene PSKD-Methode eine wettbewerbsfähige Leistung im Vergleich zu früheren mono-sensorbasierten HAR-Methoden aufweist.