¿Realmente los Transformers rinden mal en la representación gráfica?

La arquitectura de Transformer se ha convertido en una elección dominante en muchos dominios, como el procesamiento de lenguaje natural y la visión por computadora. Sin embargo, no ha obtenido un rendimiento competitivo en los tableros de líderes populares de predicción a nivel gráfico en comparación con las variantes de GNN más comunes. Por lo tanto, sigue siendo un misterio cómo los Transformers podrían rendir bien en el aprendizaje de representación gráfica. En este artículo, resolvemos este misterio presentando Graphormer, que se basa en la arquitectura estándar de Transformer, y que podría alcanzar excelentes resultados en una amplia gama de tareas de aprendizaje de representación gráfica, especialmente en el reciente OGB Large-Scale Challenge. Nuestro principal hallazgo al utilizar Transformer en el gráfico es la necesidad de codificar de manera efectiva la información estructural de un gráfico en el modelo. Con este fin, proponemos varios métodos de codificación estructural simples pero efectivos para ayudar a Graphormer a modelar mejor los datos estructurados en gráficos. Además, caracterizamos matemáticamente el poder expresivo de Graphormer y mostramos que, con nuestras formas de codificar la información estructural de los gráficos, muchas variantes populares de GNN podrían ser cubiertas como casos especiales de Graphormer.