Os Modelos de Linguagem Podem Agir como Bases de Conhecimento em Larga Escala?

Modelos de linguagem grandes (LLMs) demonstraram uma proficiência notável em entender e gerar respostas a consultas complexas por meio de pré-treinamento em larga escala. No entanto, a eficácia desses modelos em memorizar e raciocinar entre grandes conjuntos de conhecimento estruturado, especialmente conhecimento mundial que cobre explicitamente informações factuais abundantes, continua sendo questionável. Abordando essa lacuna, nossa pesquisa investiga se os LLMs podem armazenar, recordar e raciocinar efetivamente com conhecimento em uma grande escala comparável às últimas bases de conhecimento (KBs), como o Wikidata. Especificamente, nos concentramos em três aspectos cruciais para estudar a viabilidade: (1) a eficiência dos LLMs de diferentes tamanhos em memorizar o conhecimento exato na KB em larga escala; (2) a flexibilidade de recordar o conhecimento memorizado em resposta a consultas em linguagem natural; (3) a capacidade de inferir novo conhecimento através do raciocínio. Nossos achados indicam que, embora os LLMs tenham potencial como KBs em larga escala capazes de recuperar e responder com flexibilidade, melhorias em suas capacidades de raciocínio são necessárias para realizar plenamente seu potencial.