Prompting Neural Gráfico com Modelos de Linguagem Grande

Modelos de linguagem grandes (LLMs) demonstraram uma capacidade de generalização notável com desempenho excepcional em várias tarefas de modelagem de linguagem. No entanto, eles ainda apresentam limitações inerentes em capturar e retornar conhecimento fundamentado de forma precisa. Enquanto trabalhos existentes exploraram a utilização de grafos de conhecimento (KGs) para aprimorar a modelagem de linguagem por meio de treinamento conjunto e arquiteturas de modelo personalizadas, a aplicação disso a LLMs é problemática devido ao seu grande número de parâmetros e alto custo computacional. Portanto, como melhorar LLMs pré-treinados utilizando conhecimento fundamentado, por exemplo, geração aumentada por recuperação, continua sendo uma questão em aberto. Neste trabalho, propomos o Prompting Neural Gráfico (GNP), um novo método plug-and-play para auxiliar LLMs pré-treinados a aprender conhecimento benéfico a partir de KGs. GNP abrange vários designs, incluindo um codificador padrão de rede neural gráfica, um módulo de pooling de modalidade cruzada, um projetor de domínio e um objetivo de predição de link auto-supervisionado. Experimentos extensivos em múltiplos conjuntos de dados demonstram a superioridade do GNP em tarefas de raciocínio de senso comum e biomédico em diferentes tamanhos e configurações de LLMs. O código está disponível em https://github.com/meettyj/GNP.