Aprendizaje de Operadores con Atención Acoplada

El aprendizaje supervisado de operadores es un paradigma emergente de aprendizaje automático con aplicaciones en la modelación de la evolución de sistemas dinámicos espaciotemporales y la aproximación de relaciones generales de caja negra entre datos funcionales. Proponemos un nuevo método de aprendizaje de operadores, LOCA (Aprendizaje de Operadores con Atención Acoplada), motivado por el reciente éxito del mecanismo de atención. En nuestra arquitectura, las funciones de entrada se mapean a un conjunto finito de características que luego se promedian con pesos de atención que dependen de las ubicaciones de la consulta de salida. Al acoplar estos pesos de atención junto con una transformada integral, LOCA puede aprender explícitamente correlaciones en las funciones de salida objetivo, lo que nos permite aproximar operadores no lineales incluso cuando el número de funciones de salida en las mediciones del conjunto de entrenamiento es muy pequeño. Nuestra formulación va acompañada de rigurosas garantías teóricas de aproximación sobre la expresividad universal del modelo propuesto. Empíricamente, evaluamos el rendimiento de LOCA en varios escenarios de aprendizaje de operadores que involucran sistemas gobernados por ecuaciones diferenciales ordinarias y parciales, así como un problema de predicción climática de caja negra. A través de estos escenarios, demostramos una precisión de vanguardia, robustez con respecto a datos de entrada ruidosos y una dispersión de errores consistentemente pequeña en los conjuntos de datos de prueba, incluso para tareas de predicción fuera de distribución.