Aprendizaje continuo en línea con cambios de distribución natural: un estudio empírico con datos visuales

El aprendizaje continuo es el problema de aprender y retener conocimiento a lo largo del tiempo sobre múltiples tareas y entornos. La investigación se ha centrado principalmente en el entorno de clasificación incremental, donde se añaden nuevas tareas/clases en intervalos de tiempo discretos. Tal entorno "desconectado" no evalúa la capacidad de los agentes para aprender de manera efectiva y eficiente, ya que un agente puede realizar múltiples épocas de aprendizaje sin ninguna limitación de tiempo cuando se añade una tarea. Argumentamos que el aprendizaje continuo "en línea", donde los datos son un único flujo continuo sin límites de tarea, permite evaluar tanto la retención de información como la eficacia del aprendizaje en línea. En el aprendizaje continuo en línea, cada pequeño lote de datos entrante se utiliza primero para pruebas y luego se añade al conjunto de entrenamiento, haciendo que el problema sea verdaderamente en línea. Los modelos entrenados se evalúan posteriormente en datos históricos para evaluar la retención de información. Introducimos un nuevo estándar para el aprendizaje visual continuo en línea que exhibe cambios de distribución a gran escala y naturales. A través de un análisis a gran escala, identificamos fenómenos críticos y previamente no observados de la optimización basada en gradientes en el aprendizaje continuo, y proponemos estrategias efectivas para mejorar el aprendizaje continuo en línea basado en gradientes con datos reales. El código fuente y el conjunto de datos están disponibles en: https://github.com/IntelLabs/continuallearning.