Erkennung von Gebärdensprache mittels Multiple Kernel Learning: Eine Fallstudie der pakistanischen Gebärdensprache

Weltweit nutzen gehörlose Menschen Gebärdensprache als einzige zuverlässige Kommunikationsquelle sowohl miteinander als auch mit hörenden Menschen. Diese kommunikativen Zeichen bestehen aus der Form der Hand und Bewegung. In Pakistan verwenden gehörlose Menschen die pakistanische Gebärdensprache (PSL) als Kommunikationsmittel mit anderen Menschen. In der wissenschaftlichen Literatur wurden viele Studien zur Erkennung und Klassifikation von PSL durchgeführt. Die meisten dieser Arbeiten konzentrierten sich auf farbbasierte Hände, während einige andere Ansätze sensor- und kinectbasiert sind. Diese Techniken sind kostspielig und vermeiden auch eine benutzerfreundliche Anwendung. In diesem Papier wird eine Technik zur Erkennung von sechsunddreißig statischen Buchstaben der PSL mittels nackter Hände vorgeschlagen. Der Datensatz wird aus den Gebärdensprache-Videos gewonnen. In einem späteren Schritt werden vier bildbasierte Merkmale extrahiert, d.h. lokale binäre Muster, ein Histogramm orientierter Gradienten, ein kantenorientiertes Histogramm und beschleunigte robuste Merkmale. Die extrahierten Merkmale werden einzeln mit Hilfe von Multiple Kernel Learning (MKL) in einer Support Vector Machine (SVM) klassifiziert. Wir haben einen One-to-All-Ansatz für die Implementierung der grundlegenden binären SVM in die Multi-Class SVM verfolgt. Ein Abstimmungsschema wird für die endgültige Erkennung von PSL übernommen. Die Leistung der vorgeschlagenen Technik wird in Bezug auf Genauigkeit, Präzision, Rückruf und F-Score gemessen. Die Simulationsresultate sind im Vergleich zu bestehenden Ansätzen vielversprechend.