Captura multimodal de interacciones entre profesores y estudiantes para el análisis dialogal automatizado en aulas en vivo

Nos enfocamos en los diseños de recopilación de datos para el análisis automatizado de las interacciones entre profesores y estudiantes en aulas en vivo, con el objetivo de identificar actividades de enseñanza (por ejemplo, conferencias, discusiones) y evaluar la calidad de la instrucción dialógica (por ejemplo, análisis de preguntas). Nuestros diseños fueron motivados por múltiples requisitos y restricciones técnicas. Lo más importante es que los profesores podían ser micrófonos individualmente, pero su audio necesitaba ser de excelente calidad para el reconocimiento automático de voz (ASR) y la segmentación de expresiones habladas. Los estudiantes individuales no podían ser micrófonos, pero la calidad del audio del aula solo necesitaba ser suficiente para detectar las expresiones habladas de los estudiantes. La información visual solo podía registrarse si no se podían identificar a los estudiantes. El Diseño 1 utilizó un micrófono omnidireccional de computadora portátil para grabar tanto el audio del profesor como el del aula y se consideró rápidamente inadecuado. En los Diseños 2 y 3, los profesores usaron un sistema de auriculares vocales inalámbricos Samson AirLine 77, que es un micrófono unidireccional con un patrón de captación cardioide. En el Diseño 2, el audio del aula se grabó con dos Kinect de primera generación de Microsoft colocados en las esquinas frontales de la clase. El Diseño 3 utilizó un micrófono de zona de presión Crown PZM-30D montado en la pizarra para grabar el audio del aula. Los Diseños 2 y 3 fueron probados grabando audio en 38 aulas de secundaria en vivo de seis escuelas de EE. UU. mientras codificadores humanos entrenados realizaban simultáneamente la codificación en vivo del discurso del aula. Los análisis cualitativos y cuantitativos revelaron que el Diseño 3 era adecuado para tres de nuestras tareas principales: (1) ASR en el habla del profesor (tasa de reconocimiento de palabras del 66% y tasa de superposición de palabras del 69% utilizando el motor ASR de Google); (2) segmentación de expresiones del profesor (medida-F del 97%); y (3) segmentación de expresiones de los estudiantes (medida-F del 66%). Se discuten ideas para incorporar video y seguimiento esquelético con Kinect de doble segunda generación para producir el Diseño 4.