Transferencia continua de la similitud representacional de redes neuronales para el aprendizaje incremental

El paradigma de aprendizaje incremental en el aprendizaje automático ha sido consistentemente un foco de investigación académica. Es similar a la forma en que los sistemas biológicos aprenden y reduce el consumo de energía al evitar el retraining excesivo. Los estudios existentes utilizan las potentes capacidades de extracción de características de modelos pre-entrenados para abordar el aprendizaje incremental, pero sigue existiendo un problema de utilización insuficiente del conocimiento de características de la red neuronal. Para abordar este problema, este artículo propone un método novedoso llamado Destilación de Conocimiento de Modelos Pre-entrenados (PMKD) que combina la destilación de conocimiento de representaciones de redes neuronales y la repetición. Este artículo diseña una función de pérdida basada en alineación de núcleos centrados para transferir el conocimiento de representaciones de redes neuronales del modelo pre-entrenado al modelo incremental capa por capa. Además, el uso de un búfer de memoria para la Repetición de Experiencias Oscuras ayuda al modelo a retener mejor el conocimiento pasado. Los experimentos muestran que PMKD logró un rendimiento superior en varios conjuntos de datos y diferentes tamaños de búfer. En comparación con otros métodos, nuestra precisión de aprendizaje incremental por clases alcanzó el mejor rendimiento. El código de código abierto se publica en https://github.com/TianSongS/PMKD-IL.