Capture multimodale des interactions enseignant-étudiant pour une analyse dialogique automatisée dans des classes en direct

Nous nous concentrons sur les conceptions de collecte de données pour l'analyse automatisée des interactions enseignant-étudiant dans des classes en direct, dans le but d'identifier les activités d'enseignement (par exemple, cours magistral, discussion) et d'évaluer la qualité de l'instruction dialogique (par exemple, analyse des questions). Nos conceptions ont été motivées par de multiples exigences et contraintes techniques. Le plus important, les enseignants pouvaient être individuellement équipés de micros, mais leur audio devait être de qualité excellente pour la reconnaissance automatique de la parole (ASR) et la segmentation des énoncés parlés. Les étudiants individuels ne pouvaient pas être équipés de micros, mais la qualité audio de la classe devait seulement être suffisante pour détecter les énoncés parlés des étudiants. Les informations visuelles ne pouvaient être enregistrées que si les étudiants ne pouvaient pas être identifiés. La Conception 1 a utilisé un microphone omnidirectionnel d'ordinateur portable pour enregistrer à la fois l'audio de l'enseignant et celui de la classe, et a rapidement été jugée inappropriée. Dans les Conceptions 2 et 3, les enseignants portaient un système de casque vocal sans fil Samson AirLine 77, qui est un microphone unidirectionnel avec un schéma de capture cardioïde. Dans la Conception 2, l'audio de la classe était enregistré avec deux Kinects Microsoft de première génération placés aux coins avant de la classe. La Conception 3 utilisait un microphone de zone de pression Crown PZM-30D monté sur le tableau noir pour enregistrer l'audio de la classe. Les Conceptions 2 et 3 ont été testées en enregistrant l'audio dans 38 classes de collège en direct de six écoles américaines pendant que des codeurs humains formés réalisaient simultanément un codage en direct du discours de la classe. Des analyses qualitatives et quantitatives ont révélé que la Conception 3 était adaptée à trois de nos tâches principales : (1) ASR sur la parole des enseignants (taux de reconnaissance des mots de 66 % et taux de chevauchement des mots de 69 % utilisant le moteur ASR de Google Speech) ; (2) segmentation des énoncés des enseignants (mesure F de 97 %) ; et (3) segmentation des énoncés des étudiants (mesure F de 66 %). Des idées pour incorporer la vidéo et le suivi squelettique avec deux Kinects de deuxième génération pour produire la Conception 4 sont discutées.