Escalonamento temporal em múltiplas escalas de Equações Diferenciais Parciais com transformers

Desenvolver substitutos rápidos para Equações Diferenciais Parciais (PDEs) acelerará o design e a otimização em quase todas as aplicações científicas e de engenharia. As redes neurais têm recebido atenção crescente e demonstraram sucesso notável na modelagem computacional de PDEs; no entanto, sua precisão de previsão não está no nível de implantação total. Neste trabalho, utilizamos a arquitetura transformer, a espinha dorsal de numerosos modelos de IA de última geração, para aprender a dinâmica de sistemas físicos como a mistura de padrões espaciais aprendidos por um autoencoder convolucional. Além disso, incorporamos a ideia de escalonamento temporal hierárquico em múltiplas escalas para aumentar a velocidade de previsão e diminuir o erro acumulado ao longo do tempo. Nosso modelo alcança resultados semelhantes ou melhores na previsão da evolução temporal das equações de Navier–Stokes em comparação com o poderoso Operador Neural de Fourier (FNO) e dois operadores neurais baseados em transformers, OFormer e Galerkin Transformer. O código e os dados estão disponíveis em https://github.com/BaratiLab/MSTPDE.