Ein neuer Ansatz mit Datenhandschuh zur Erkennung der malaysischen Gebärdensprache

Ein normaler Mensch sieht, hört und reagiert auf seine Umgebung. Es gibt einige Individuen, die diesen wichtigen Segen nicht haben. Solche Individuen, hauptsächlich taub und stumm, sind auf die Kommunikation über Gebärdensprache angewiesen, um mit anderen zu interagieren. Allerdings ist die Kommunikation mit gewöhnlichen Menschen ein großes Anliegen für sie, da nicht jeder ihre Gebärdensprache verstehen kann. Darüber hinaus verursacht dies ein Problem für die tauben und stummen Gemeinschaften, um mit anderen zu interagieren, insbesondere wenn sie versuchen, sich in Bildungs-, sozialen und Arbeitsumfeldern einzubringen. In dieser Forschung bestehen die Ziele darin, ein Übersetzungssystem für Gebärdensprache zu entwickeln, um hörgeschädigten oder sprachbehinderten Menschen zu helfen, mit normalen Menschen zu kommunizieren, und auch die Genauigkeit des Systems bei der Interpretation der Gebärdensprache zu testen. Als erster Schritt wurde die beste Methode zur Gestenerkennung gewählt, nachdem vorherige Forschungen überprüft wurden. Die Konfiguration des Datenhandschuhs umfasst 10 Neigungssensoren, um die Fingerbeugung zu erfassen, einen Beschleunigungsmesser zur Erkennung der Handbewegung, einen Mikrocontroller und ein Bluetooth-Modul, um die interpretierten Informationen an ein Mobiltelefon zu senden. Zunächst wurde die Leistung des Neigungssensors getestet. Nachdem alle Verbindungen montiert wurden, wurde die Genauigkeit des Datenhandschuhs bei der Übersetzung einiger ausgewählter Buchstaben, Zahlen und Wörter aus der malaysischen Gebärdensprache überprüft. Das Ergebnis des ersten Experiments zeigt, dass der Neigungssensor um mehr als 85 Grad geneigt werden muss, um den digitalen Zustand erfolgreich zu ändern. Für die Genauigkeit von 4 Individuen, die dieses Gerät getestet haben, beträgt die durchschnittliche Genauigkeit bei der Übersetzung von Buchstaben 95%, bei Zahlen 93,33% und bei Gesten 78,33%. Die durchschnittliche Genauigkeit des Datenhandschuhs für die Übersetzung aller Arten von Gesten beträgt 89%. Diese Fusion von Neigungssensoren und Beschleunigungsmesser könnte in Zukunft durch die Hinzufügung weiterer Trainings- und Testdaten sowie grundlegender Frameworks wie dem versteckten Markov-Modell verbessert werden.