Deep-Learning-basierte künstliche Vision zur Greifklassifikation in myoelektrischen Händen

ZIELE: Computer Vision-basierte Assistenztechnologielösungen können die Qualität der Pflege für Menschen mit sensorimotorischen Störungen revolutionieren. Ziel dieser Arbeit war es, transradiale Amputierte zu befähigen, ein einfaches, aber effektives Computer Vision-System zu nutzen, um alltägliche Haushaltsgegenstände mit einer zweikanaligen myoelektrischen Prothese zu greifen und zu bewegen. ANSATZ: Wir entwickelten ein auf Deep Learning basierendes künstliches Visionssystem, um die Greif-Funktionalität einer kommerziellen Prothese zu erweitern. Unsere Hauptneuheit besteht darin, dass wir Objekte hinsichtlich des Greifmusters klassifizieren, ohne sie explizit zu identifizieren oder deren Abmessungen zu messen. Eine Struktur eines Convolutional Neural Network (CNN) wurde mit Bildern von über 500 greifbaren Objekten trainiert. Für jedes Objekt standen 72 Bilder in regelmäßigen Abständen zur Verfügung. Die Objekte wurden in vier Greifklassen kategorisiert: Pinch, Tripod, palmarer Handgelenk neutral und palmarer Handgelenk proniert. Die CNN-Einstellung wurde zuerst offline angepasst und getestet und dann in Echtzeit mit Objekten oder Objektansichten getestet, die nicht im Trainingssatz enthalten waren. HAUPTERGEBNISSE: Prothetisches Handgelenk; ergänzt durch eine Webcam. Nach dem Training konnten die Probanden die Zielobjekte erfolgreich aufnehmen und bewegen, mit einer Gesamtquote von bis zu Formel: siehe Text. Darüber hinaus zeigen wir, dass die Leistung der Probanden mit Training in Bezug auf die benötigte Zeit zur Durchführung eines Blocks von 24 Versuchen trotz abnehmendem visuellem Feedback verbessert wurde. BEDEUTUNG: Das vorgeschlagene Design stellt eine wesentliche konzeptionelle Verbesserung für die Steuerung multifunktionaler Prothesenhände dar. Wir zeigen zum ersten Mal, dass auf Deep Learning basierende Computer Vision-Systeme die Greif-Funktionalität von myoelektrischen Händen erheblich verbessern können.