Grandes modelos de linguagem encontram NLP: uma pesquisa

Resumo Embora grandes modelos de linguagem (LLMs) como o ChatGPT tenham demonstrado capacidades impressionantes em tarefas de Processamento de Linguagem Natural (NLP), uma investigação sistemática de seu potencial neste campo permanece em grande parte inexplorada. Este estudo visa preencher essa lacuna explorando as seguintes questões. (1) Como os LLMs são atualmente aplicados às tarefas de NLP na literatura? (2) As tarefas tradicionais de NLP já foram resolvidas com LLMs? (3) Qual é o futuro dos LLMs para NLP? Para responder a essas perguntas, damos o primeiro passo para fornecer uma visão abrangente dos LLMs em NLP. Especificamente, apresentamos primeiro uma taxonomia unificada incluindo (1) paradigma com parâmetros congelados e (2) paradigma de ajuste de parâmetros para oferecer uma perspectiva unificada para compreender o progresso atual dos LLMs em NLP. Além disso, resumimos as novas fronteiras e os desafios correspondentes, com o objetivo de inspirar avanços revolucionários adicionais. Esperamos que este trabalho ofereça insights valiosos sobre o potencial e as limitações dos LLMs, além de servir como um guia prático para a construção de LLMs eficazes em NLP.