Redes Profundas de Operadores Ensemble e Mixture-of-Experts para Aprendizado de Operadores

Apresentamos uma nova arquitetura de rede profunda de operadores (DeepONet) para aprendizado de operadores, o DeepONet ensemble, que permite enriquecer a rede tronco de um único DeepONet com múltiplas redes tronco distintas. Esse enriquecimento do tronco permite maior expressividade e capacidades de generalização em uma variedade de problemas de aprendizado de operadores. Também apresentamos uma arquitetura de rede tronco MoE (mixture-of-experts) DeepONet espacial que utiliza uma aproximação de partição da unidade (PoU) para promover localidade espacial e esparsidade do modelo no problema de aprendizado de operadores. Primeiro provamos que tanto os DeepONets ensemble quanto os PoU-MoE são aproximadores universais. Em seguida, demonstramos que os DeepONets ensemble contendo um ensemble tronco de um tronco padrão, o tronco PoU-MoE, e/ou um tronco de decomposição ortogonal própria (POD) podem alcançar erros relativos ₂ de 2-4x mais baixos do que os DeepONets padrão e os POD-DeepONets em problemas de aprendizado de operadores padrão e desafiadores, envolvendo equações diferenciais parciais (PDEs) em duas e três dimensões. Nossa nova formulação PoU-MoE fornece uma maneira natural de incorporar localidade espacial e esparsidade do modelo em qualquer arquitetura de rede neural, enquanto nosso novo DeepONet ensemble oferece uma estrutura poderosa e geral para incorporar enriquecimento de base em arquiteturas de aprendizado de máquina científica para aprendizado de operadores.