Los puntos clave no están disponibles para este artículo en este momento.
La atención juega un papel crítico en la experiencia visual humana. Además, se ha demostrado recientemente que la atención también puede desempeñar un papel importante en el contexto de la aplicación de redes neuronales artificiales a una variedad de tareas en campos como la visión por computadora y el procesamiento del lenguaje natural. En este trabajo, mostramos que, al definir correctamente la atención para las redes neuronales convolucionales, podemos utilizar este tipo de información para mejorar significativamente el rendimiento de una red CNN estudiante al obligarla a imitar los mapas de atención de una poderosa red docente. Con ese fin, proponemos varios métodos novedosos de transferencia de atención, mostrando una mejora consistente a través de una variedad de conjuntos de datos y arquitecturas de redes neuronales convolucionales. El código y los modelos para nuestros experimentos están disponibles en https://github.com/szagoruyko/attention-transfer.
Zagoruyko et al. (Mon,) estudiaron esta pregunta.