Modelos de linguagem de grande escala (LLMs) se destacam em gerar enunciados fluentes, mas podem não ter uma base confiável em informações verificadas. Ao mesmo tempo, verificadores de fatos baseados em grafos de conhecimento fornecem evidências precisas e interpretáveis, mas sofrem com cobertura limitada ou latência. Ao integrar LLMs com grafos de conhecimento e agentes de busca em tempo real, introduzimos uma abordagem híbrida de verificação de fatos que aproveita as forças individuais de cada componente. Nosso sistema compreende três etapas autônomas: 1) uma Recuperação de Grafo de Conhecimento (KG) para buscas rápidas de um único salto no DBpedia, 2) uma classificação baseada em LM guiada por um prompt de rotulagem específico da tarefa, produzindo saídas com lógica interna baseada em regras, e 3) um Agente de Busca na Web invocado apenas quando a cobertura do KG é insuficiente. Nosso pipeline alcança um score F1 de 0,93 no benchmark FEVER na divisão Apoiado/Refutado sem ajuste fino específico da tarefa. Para abordar casos de Informação Insuficiente, realizamos um estudo de reanotação direcionado, mostrando que nossa abordagem frequentemente descobre evidências válidas para alegações originalmente rotuladas como Informação Insuficiente (NEI), conforme confirmado tanto por anotadores especialistas quanto por revisores de LLM. Com este artigo, apresentamos um pipeline de verificação de fatos modular e de código aberto com estratégias de fallback e generalização entre conjuntos de dados.
Kolli et al. (Quarta-feira) estudaram esta questão.