Investigando a Fidelidade dos Métodos de Inteligência Artificial Explicável para Aplicações de Redes Neurais Convolucionais em Geociências

Resumo Redes neurais convolucionais (CNNs) têm atraído recentemente grande atenção nas geociências devido à sua capacidade de capturar o comportamento de sistemas não lineares e extrair padrões espaçotemporais preditivos. No entanto, dada a sua natureza de caixa-preta e a importância da explicabilidade da previsão, métodos de inteligência artificial explicável (XAI) estão ganhando popularidade como uma forma de explicar a estratégia de tomada de decisão das CNNs. Aqui, estabelecemos uma intercomparação de alguns dos métodos de XAI mais populares e investigamos sua fidelidade em explicar as decisões das CNNs para aplicações geocientíficas. Nosso objetivo é aumentar a conscientização sobre as limitações teóricas desses métodos e obter insights sobre os pontos fortes e fracos relativos para ajudar a guiar as melhores práticas. Os métodos de XAI considerados são inicialmente aplicados a um marco de atribuição idealizado, no qual a verdade fundamental da explicação da rede é conhecida a priori, para ajudar a avaliar objetivamente seu desempenho. Em segundo lugar, aplicamos o XAI a um contexto de previsão relacionado ao clima, ou seja, para explicar uma CNN que é treinada para prever o número de rios atmosféricos em instantâneas diárias de simulações climáticas. Nossos resultados destacam várias questões importantes dos métodos de XAI (por exemplo, fragmentação de gradiente, incapacidade de distinguir o sinal de atribuição e ignorância em relação a entradas zero) que foram previamente negligenciadas em nosso campo e, se não forem consideradas cautelosamente, podem levar a uma imagem distorcida da estratégia de tomada de decisão das CNNs. Esperamos que nossa análise motive uma investigação mais profunda sobre a fidelidade do XAI e ajude em uma implementação cautelosa do XAI nas geociências, o que pode levar a uma maior exploração das CNNs e do aprendizado profundo para problemas de previsão.