A emergência de grandes modelos de linguagem como ferramentas em revisões de literatura: uma revisão sistemática assistida por modelo de linguagem grande

OBJETIVOS: Este estudo tem como objetivo resumir o uso de grandes modelos de linguagem (LLMs) no processo de criação de uma revisão científica, examinando os artigos metodológicos que descrevem a utilização de LLMs na automação de revisões e os artigos de revisão que mencionam ter sido elaborados com o apoio de LLMs. MATERIAIS E MÉTODOS: A busca foi realizada em junho de 2024 no PubMed, Scopus, Dimensions e Google Scholar por revisores humanos. O processo de triagem e extração ocorreu no Covidence com a ajuda de um complemento LLM baseado no modelo OpenAI GPT-4o. ChatGPT e Scite.ai foram utilizados na limpeza dos dados, geração de códigos para figuras e na redação do manuscrito. RESULTADOS: Dos 3788 artigos recuperados, 172 estudos foram considerados elegíveis para a revisão final. ChatGPT e LLMs baseados em GPT emergiram como a arquitetura mais dominante para automação de revisões (n = 126, 73,2%). Um número significativo de projetos de automação de revisões foi encontrado, mas apenas um número limitado de artigos (n = 26, 15,1%) eram revisões reais que reconheciam o uso de LLMs. A maioria das citações focou na automação de um estágio particular da revisão, como a busca por publicações (n = 60, 34,9%) e extração de dados (n = 54, 31,4%). Ao comparar o desempenho agrupado dos modelos baseados em GPT e BERT, o primeiro se saiu melhor na extração de dados, com uma precisão média de 83,0% (DP = 10,4) e uma sensibilidade de 86,0% (DP = 9,8). DISCUSSÃO E CONCLUSÃO: Nossa revisão sistemática assistida por LLM revelou um número significativo de projetos de pesquisa relacionados à automação de revisões utilizando LLMs. Apesar das limitações, como menor precisão na extração de dados numéricos, prevemos que os LLMs em breve mudarão a forma como as revisões científicas são conduzidas.