A inteligência artificial explicável (XAI) é empregada para esclarecer a lógica por trás das saídas da IA e resolver a natureza de caixa-preta da inteligência artificial (IA). Isso visa aumentar a confiabilidade e a usabilidade da tecnologia baseada em IA para suporte à operação ou tomada de decisão. No entanto, as explicações de XAI agora são frequentemente mais acessíveis para desenvolvedores, que constroem, verificam e otimizam modelos de IA, do que para operadores, que precisam entender e empregar esses modelos para a tomada de decisões. Portanto, este estudo visa desenvolver uma metodologia de aprendizado profundo baseada em Grad-CAM que forneça explicações centradas no operador para aumentar a explicabilidade das saídas de IA e a confiabilidade das tecnologias de IA para suporte à operação no contexto da realização de tarefas operacionais baseadas em procedimentos. Neste estudo, um modelo de XAI baseado em mapeamento de ativação de classe ponderada por gradiente e uma rede neural convolucional causal dilatada foi desenvolvido para identificar estados anormais e fornecer explicações centradas no operador dentro do escopo de procedimentos operacionais anormais correspondentes aos estados anormais identificados. Além disso, a representação de explicações centradas no operador foi abordada para exibir efetivamente as informações suportadas por IA do modelo proposto na interface humano-sistema para tarefas operacionais.
Koo et al. (Sun,) estudaram esta questão.