Parametrização de Atualização Maximal e Transferência de Hiperparâmetros Zero-Shot para Operadores Neurais de Fourier

Os Operadores Neurais de Fourier (FNOs) oferecem uma abordagem fundamentada para resolver equações diferenciais parciais (EDPs) complexas. No entanto, escalá-los para lidar com EDPs mais complexas requer aumentar o número de modos de Fourier, o que expande significativamente o número de parâmetros do modelo e torna a afinação de hiperparâmetros computacionalmente impraticável. Para abordar isso, introduzimos o μTransfer-FNO, uma técnica de transferência de hiperparâmetros zero-shot que permite que configurações otimizadas, ajustadas em FNOs menores, sejam aplicadas diretamente em FNOs de bilhões de parâmetros sem afinação adicional. Com base na estrutura de Parametrização de Atualização Maximal (μP), derivamos matematicamente um esquema de parametrização que facilita a transferência de hiperparâmetros ótimos entre modelos com diferentes números de modos de Fourier em FNOs, o que é validado por meio de experimentos extensivos em várias EDPs. Nosso estudo empírico mostra que o Transfer-FNO reduz o custo computacional para afinar hiperparâmetros em grandes FNOs, mantendo ou melhorando a precisão.