Multimodale Wachsamkeitsschätzung mit Deep Learning

Das Phänomen der zunehmenden Unfälle aufgrund reduzierter Wachsamkeit existiert. In Zukunft wird die hohe Genauigkeit der Wachsamkeitsschätzung eine bedeutende Rolle für die Sicherheit im öffentlichen Verkehr spielen. Wir schlagen ein multimodales Regressionsnetzwerk vor, das aus multikanaligen tiefen Autoencodern mit Neuronen in Unternetzwerken (MCDAE sn) besteht. Nachdem wir zwei Schwellenwerte von "0,35" und "0,70" auf der Grundlage des Anteils der Augenliderschließung definiert haben, liegen die Ausgangswerte im kontinuierlichen Bereich von 0-0,35, 0,36-0,70 und 0,71-1, die den wachen Zustand, den müden Zustand und den schläfrigen Zustand repräsentieren. Um die Effizienz unserer Strategie zu überprüfen, haben wir zunächst den vorgeschlagenen Ansatz auf eine einzelne Modalität angewendet. Danach, für die Multimodalität, fanden wir aufgrund der komplementären Informationen zwischen der Elektrooculographie der Stirn und den Elektroenzephalographie-Features, dass die Leistung des vorgeschlagenen Ansatzes durch die Fusion von Features erheblich verbessert wurde, was die Effektivität und Effizienz unserer Methode demonstriert.