Latern: Dynamische kontinuierliche Handgestenerkennung mit FMCW-Radarsensor

In letzter Zeit sind Systeme zur Handgestenerkennung für Forscher im Bereich der Mensch-Computer-Interaktion zunehmend interessant geworden. Systeme zur dynamischen Handgestenerkennung in der realen Welt sind herausfordernd, da: 1) das System robust gegenüber verschiedenen Bedingungen sein muss; 2) eine große Vielfalt darin besteht, wie Menschen Handgesten ausführen, was die Handgestenerkennung erschwert; und 3) das System Handgesten kontinuierlich erkennen und identifizieren muss, indem es unsegmentierte Eingabeströme verwendet, um spürbare Verzögerungen zwischen der Ausführung einer Geste und ihrer Klassifizierung zu vermeiden. In diesem Papier präsentieren wir Latern, ein neuartiges System zur dynamischen kontinuierlichen Handgestenerkennung, das auf einem frequenzmodulierten kontinuierlichen Radarwellen-Sensor basiert. Das Radarsystem ist unabhängig von Licht, Lärm oder atmosphärischen Bedingungen. Wir verwenden ein rekurrentes 3-D-Convolutional Neural Network, um die Klassifizierung dynamischer Handgesten durchzuführen. Zur Verbesserung der Verarbeitungsleistung wird ein vernetzter zeitlicher Klassifikationsalgorithmus eingesetzt, um das Netzwerk zu trainieren, Klassennamen aus sich entwickelnden Gesten in unsegmentierten Eingabeströmen vorherzusagen. Die experimentellen Ergebnisse zeigen, dass Latern in der Lage ist, hohe Erkennungsraten von 96 % zu erreichen, was höher ist als bei modernen Systemen zur Handgestenerkennung. Darüber hinaus können die Ergebnisse dieses Papiers für das Design eines Echtzeit-Handgestenerkennungssystems verwendet werden.