Dominando a Transformação de Representação de Contexto para Rótulo para Identificação de Causalidade de Eventos com Modelos de Difusão

Para entender as estruturas de eventos de documentos, a identificação de causalidade de eventos (ECI) emerge como uma tarefa crucial, visando discernir relações causais entre menções de eventos. A abordagem mais recente para ECI introduziu modelos avançados de aprendizado profundo onde modelos de codificação baseados em transformers, complementados por componentes enriquecedores, são tipicamente aproveitados para aprender representações efetivas de contexto de eventos para previsão de causalidade. Assim, um passo importante para os modelos de ECI é transformar as representações de contexto de eventos em representações de rótulo causal para realizar a computação de pontuação logits para fins de treinamento e inferência. Dentro desse framework, as representações de contexto de eventos podem encapsular diversas estruturas complicadas e ruidosas devido ao potencial longo contexto entre os eventos de entrada, enquanto as representações de rótulo causal têm a intenção de capturar informações puras sobre as relações causais para facilitar a estimativa de pontuação. No entanto, uma desvantagem notável dos modelos de ECI existentes decorre da sua dependência de redes neurais simples feed-forward para lidar com o complexo processo de transformação de representação de contexto para rótulo, o que pode exigir mudanças drásticas nas representações para prejudicar o processo de aprendizagem. Para superar esse problema, nosso trabalho introduz um método novel para ECI onde, em vez de transformações abruptas, as representações de contexto de eventos são gradualmente atualizadas para alcançar representações de rótulo eficazes. Esse processo será feito de forma incremental para permitir o filtragem de estruturas irrelevantes em diferentes níveis de granularidade para relações causais. Para realizar isso, apresentamos um modelo de difusão para aprender processos de transição de representação gradual entre contexto e rótulos causais. Ele opera por meio de uma passagem para frente para adicionar ruído à representação de rótulo causal e uma passagem reversa para reconstruir as representações de rótulo a partir de ruído aleatório. Nossos experimentos em diferentes conjuntos de dados em várias línguas demonstram as vantagens do modelo de difusão com desempenho de ponta para ECI.