Extração de Relação Few-Shot Com Prompts Gerados Automaticamente

A extração de relação (RE) tende a ter dificuldades quando os dados de treinamento supervisionados são escassos e difíceis de serem coletados. Neste artigo, extraímos conhecimento relacional e factual de grandes modelos de linguagem pré-treinados (PLMs) para RE com poucos exemplos (FSRE) utilizando técnicas de prompting. Concretamente, geramos automaticamente um conjunto diversificado de templates de linguagem natural e modulamos o comportamento do PLM através desses prompts para FSRE. Para mitigar o viés de template que leva à instabilidade da aprendizagem com poucos exemplos, propomos uma rede de regularização de templates (TRN) simples, mas eficaz, para evitar que redes profundas se ajustem excessivamente a templates incertos e, assim, estabilizem os modelos de FSRE. A TRN alivia o viés de template com três mecanismos: 1) um mecanismo de atenção sobre mini-batch para ponderar cada template; 2) um mecanismo de regularização de classificação para regularizar os pesos de atenção e restringir a importância de templates incertos; e 3) um módulo de calibração de template com duas técnicas de calibração para modificar os templates incertos no grupo de menor classificação. Resultados experimentais em dois conjuntos de dados de referência (ou seja, FewRel e NYT) mostram que nosso modelo tem uma superioridade robusta sobre competidores fortes. Para reprodutibilidade, publicaremos nosso código e dados após a publicação deste artigo.