FlowerFormer: Empoderando la codificación de arquitecturas neuronales usando un transformador de gráficos consciente del flujo

El éxito de una arquitectura de red neuronal específica está estrechamente relacionado con el conjunto de datos y la tarea que aborda; no hay una solución única para todos. Por lo tanto, se han realizado esfuerzos considerables para estimar rápida y precisamente las actuaciones de las arquitecturas neuronales, sin necesidad de entrenamiento o evaluación completa, para tareas y conjuntos de datos dados. La codificación de arquitecturas neuronales ha desempeñado un papel crucial en la estimación, y los métodos basados en grafos, que tratan una arquitectura como un grafo, han demostrado un rendimiento destacado. Para un aprendizaje de representación mejorado de arquitecturas neuronales, introducimos FlowerFormer, un potente transformador de grafos que incorpora los flujos de información dentro de una arquitectura neuronal. FlowerFormer consta de dos componentes clave: (a) paso de mensajes asíncrono bidireccional, inspirado en los flujos; (b) atención global construida sobre enmascaramiento basado en flujos. Nuestros extensos experimentos demuestran la superioridad de FlowerFormer sobre los métodos existentes de codificación neuronal, y su efectividad se extiende más allá de los modelos de visión por computadora para incluir redes neuronales gráficas y modelos de reconocimiento automático de voz. Nuestro código está disponible en http://github.com/y0ngjaenius/CVPR2024FLOWERFormer.