De Local a Global: Uma Abordagem Graph RAG para Resumo Focado em Consultas

O uso de geração aumentada por recuperação (RAG) para recuperar informações relevantes de uma fonte de conhecimento externa permite que modelos de linguagem de grande escala (LLMs) respondam a perguntas sobre coleções de documentos privadas e/ou previamente não vistas. No entanto, o RAG falha em perguntas globais direcionadas a um corpo de texto inteiro, como "Quais são os principais temas no conjunto de dados?", uma vez que isso é inerentemente uma tarefa de resumo focada em consultas (QFS), em vez de uma tarefa de recuperação explícita. Métodos QFS anteriores, por sua vez, falham ao escalonar para as quantidades de texto indexadas por sistemas RAG típicos. Para combinar as forças desses métodos contrastantes, propomos uma abordagem Graph RAG para responder perguntas sobre corpora de texto privados que escalam com tanto a generalidade das perguntas dos usuários quanto a quantidade de texto fonte a ser indexada. Nossa abordagem utiliza um LLM para construir um índice de texto baseado em grafos em duas etapas: primeiro, para derivar um grafo de conhecimento de entidades a partir dos documentos fonte, e depois para gerar previamente resumos de comunidade para todos os grupos de entidades intimamente relacionadas. Dada uma pergunta, cada resumo de comunidade é utilizado para gerar uma resposta parcial, antes que todas as respostas parciais sejam novamente resumidas em uma resposta final ao usuário. Para uma classe de perguntas de entendimento global sobre conjuntos de dados na faixa de 1 milhão de tokens, mostramos que o Graph RAG leva a melhorias substanciais em relação a uma linha de base RAG ingênua, tanto na compreensividade quanto na diversidade das respostas geradas. Uma implementação open-source, baseada em Python, de ambas as abordagens Graph RAG globais e locais está a caminho em https://aka.ms/graphrag.