Modelado Eficiente de Secuencias Largas a través de Transformer Aumentado por Espacio de Estados

Los modelos Transformer han logrado un rendimiento superior en diversas tareas de procesamiento de lenguaje natural. Sin embargo, el costo computacional cuadrático del mecanismo de atención limita su viabilidad para secuencias largas. Existen variantes de atención que mejoran la eficiencia computacional, pero tienen una capacidad limitada para calcular información global de manera efectiva. En paralelo a los modelos Transformer, los modelos de espacio de estado (SSMs) están diseñados para secuencias largas, pero no son lo suficientemente flexibles para capturar información local complicada. Proponemos SPADE, que significa Transformador Aumentado por Espacio de Estados. Específicamente, aumentamos un SSM en la capa inferior de SPADE, y empleamos métodos de atención local eficientes para las otras capas. El SSM aumenta la información global, lo que complementa la falta de dependencia a largo alcance en los métodos de atención local. Los resultados experimentales en el banco de pruebas Long Range Arena y tareas de modelado de lenguaje demuestran la efectividad del método propuesto. Para demostrar aún más la escalabilidad de SPADE, preentrenamos grandes modelos de codificador-decodificador y presentamos resultados de ajuste fino en tareas de comprensión y generación de lenguaje natural.