Monitoreo multimodal de las actividades de la vida diaria para el cuidado de personas mayores

En este artículo, presentamos un enfoque multimodal para monitorear las actividades de la vida diaria (AVD) de los adultos mayores utilizando la combinación de un dispositivo portátil y un robot compañero. Se desarrolló un modelo de red bayesiana dinámica (DBN) para el reconocimiento de actividades, que fusiona diferentes datos, incluyendo ubicación, objeto, evento sonoro, acción corporal y tiempo. La acción de caminar se detecta como la transición entre actividades consecutivas, lo que ayuda a capturar el inicio de las actividades y ahorrar energía en el dispositivo portátil. Se realizaron tres pruebas para evaluar el enfoque propuesto. Primero, se simularon múltiples actividades diarias y se evaluó el enfoque basado en un conjunto de datos público de AVD. En segundo lugar, se probó el enfoque propuesto con un conjunto de datos fuera de línea recopilado en nuestro banco de pruebas de hogar inteligente, que contiene imágenes, eventos sonoros, movimiento y datos temporales. En tercer lugar, el enfoque propuesto se probó en tiempo real y se desarrolló una interfaz basada en la web, que ayuda a los cuidadores a monitorear mejor las AVD de los adultos mayores y proporcionar asistencia adicional. En la prueba fuera de línea y en la prueba en tiempo real, los resultados muestran que el sistema logró una tasa de detección de actividad del 91% y 93%, respectivamente, lo que supera significativamente los métodos de muestreo periódico de referencia. Además, los tiempos de activación de la cámara y el sensor de micrófono se redujeron de 1537 a 140 y 78, lo que llevó a una reducción del 36.0% y 37.6% en el consumo de energía del dispositivo portátil, respectivamente.