Cómo aprovechar las estimaciones de incertidumbre predictiva para reducir el olvido catastrófico en el aprendizaje continuo en línea

Muchas aplicaciones del mundo real requieren que los modelos de aprendizaje automático sean capaces de lidiar con distribuciones de datos no estacionarias y, por lo tanto, aprender de forma autónoma durante un período prolongado de tiempo, a menudo en un entorno en línea. Uno de los principales desafíos en este escenario es el llamado olvido catastrófico (CF) para el cual el modelo de aprendizaje tiende a centrarse en las tareas más recientes mientras experimenta una degradación predictiva en las más antiguas. En el entorno en línea, las soluciones más efectivas emplean un buffer de memoria de tamaño fijo para almacenar muestras antiguas utilizadas para la reproducción al entrenar en nuevas tareas. Se han presentado muchos enfoques para abordar este problema. Sin embargo, no está claro cómo se puede aprovechar la información de incertidumbre predictiva para la gestión de la memoria de la manera más efectiva y se proponen estrategias contradictorias para poblar la memoria. ¿Son las muestras más fáciles de olvidar o las más fáciles de recordar más efectivas para combatir el CF? Partiendo de la intuición de que la incertidumbre predictiva proporciona una idea de la ubicación de las muestras en el espacio de decisiones, este trabajo presenta un análisis en profundidad de diferentes estimaciones de incertidumbre y estrategias para poblar la memoria. La investigación proporciona una mejor comprensión de las características que deben tener los puntos de datos para aliviar el CF. Luego, proponemos un método alternativo para estimar la incertidumbre predictiva a través de la varianza generalizada inducida por la log-verosimilitud negativa. Finalmente, demostramos que el uso de medidas de incertidumbre predictiva ayuda a reducir el CF en diferentes entornos.