Computergestützte Bewertung von autistischen Kindern: Analyse von Interaktionen, Emotionen, menschlicher Haltung und Lebenskompetenzen

In diesem Papier testet die vorgeschlagene Arbeit die Anwendung der Computer Vision zur Durchführung der Fähigkeiten- und Emotionseinschätzung von Kindern mit Autismus-Spektrum-Störung (ASS), indem verschiedene bio-behaviorale Daten, menschliche Aktivitäten, Interaktionen zwischen Kind und Therapeut sowie gemeinsame Haltungsabschätzungen aus videoaufgezeichneten interaktiven Einzel- oder Zweipersonen- spielbasierten Interventionssitzungen extrahiert werden. Ein umfassender Datensatz von 300 Videos wurde von ASS-Kindern, die an sozialen Interaktionen beteiligt sind, gesammelt und es wurden drei neuartige, auf Deep Learning basierende Computer Vision-Modelle entwickelt, die wie folgt erklärt werden: 1) Aktivitätsverständnis zur Analyse der Interaktionen zwischen Kind und Spielpartner (Aktivitätsverständnis-Modell); 2) ein automatisches Rahmenwerk zur Erkennung gemeinsamer Aufmerksamkeit unter Verwendung von Haltungsdaten, und 3) Emotion und Gesichtsausdruckserkennung. Wir testeten die Modelle an 68 unbekannten echten Videos von Kindern, die aus klinischen und öffentlichen Datensätzen erfasst wurden. Das Aktivitätsverständnis-Modell verfügt über eine Gesamttrefferquote von 72,32%, die Modelle zur gemeinsamen Aufmerksamkeit haben eine Genauigkeit von 97% für das Verfolgen des Blicks und 93,4% für das Zeigen mit der Hand, und das Modell zur Gesichtsausdruckserkennung hat eine Gesamttrefferquote von 95,1%. Die vorgeschlagenen Modelle könnten Aktivitäten und Verhaltensweisen von Interesse aus Videos von Freispielen und Interventionssitzungen extrahieren und den Kliniken Daten zur Verfügung stellen, die für die Diagnose, Bewertung, Therapieformulierung und Überwachung von ASS-Kindern mit eingeschränkter Aufsicht nützlich sind.