Verbesserung der Erkennung von Gebärdensprache durch Mediapipe und Faltungsneuronale Netze (CNN)

Diese Forschung kombiniert MediaPipe und CNNs für die effiziente und genaue Interpretation von ASL-Datensätzen zur Echtzeit-Erkennung von Gebärdensprache. Das hier präsentierte System erfasst und verarbeitet die Handgesten in Echtzeit. Der beabsichtigte Zweck war es, eine sehr einfache, genaue und schnelle Möglichkeit zur Eingabe von Befehlen zu schaffen, ohne etwas zu berühren. MediaPipe unterstützt eines der leistungsstarken Frameworks für die Echtzeit-Handverfolgung, um Handbewegungen zu erfassen und vorzubereiten, was die Genauigkeit des Gestenerkennungssystems erhöht. Tatsächlich führt die Integration von CNN mit MediaPipe zu einer höheren Effizienz bei der Verwendung des Modells zur Echtzeitverarbeitung. Die vom Modell erzielte Genauigkeit bei ASL-Datensätzen beträgt 99,12\. Das Modell wurde mit Datensätzen der American Sign Language (ASL) getestet. Die Ergebnisse wurden dann mit denen bestehender Methoden verglichen, um zu bewerten, wie gut es abschneidet, unter Verwendung etablierter Bewertungstechniken. Das System wird Anwendungen in den Bereichen Kommunikation, Bildung und Barrierefreiheit haben. Die Verbesserung von Systemen wie in diesem Papier beschrieben wird Menschen mit Hörbeeinträchtigungen helfen und vieles für sie zugänglich machen. Wir haben die Erkennungs- und Übersetzungsleistung an einem ASL-Datensatz getestet und eine bessere Genauigkeit im Vergleich zu früheren Modellen erzielt. Die Forschung zielt darauf ab, die Zeichen zu identifizieren, die amerikanische Zeichen durch Bilder von Händen erkennen, die von einer Webcam aufgenommen wurden, basierend auf Mediapipe und CNNs.