Análisis de Constituencias con un Codificador de Autoatención

Demostramos que reemplazar un codificador LSTM con una arquitectura de autoatención puede llevar a mejoras en un analizador de constituencias discriminativo de última generación. El uso de atención hace explícita la forma en que la información se propaga entre diferentes ubicaciones en la oración, lo que utilizamos tanto para analizar nuestro modelo como para proponer mejoras potenciales. Por ejemplo, encontramos que separar la información posicional y de contenido en el codificador puede llevar a una mayor precisión en el análisis. Además, evaluamos diferentes enfoques para la representación léxica. Nuestro analizador logra nuevos resultados de última generación para modelos únicos entrenados en el Penn Treebank: 93.55 F1 sin el uso de datos externos y 95.13 F1 al utilizar representaciones de palabras preentrenadas. Nuestro analizador también supera las mejores cifras de precisión publicadas anteriormente en 8 de los 9 idiomas en el conjunto de datos SPMRL.