História, Desenvolvimento e Princípios dos Modelos de Linguagem de Grande Escala - Uma Pesquisa Introdutória

Modelos de linguagem servem como um alicerce no processamento de linguagem natural (PLN), utilizando métodos matemáticos para generalizar leis e conhecimentos linguísticos para previsão e geração. Ao longo de extensas pesquisas que abrangem décadas, a modelagem de linguagem progrediu desde os primeiros modelos de linguagem estatísticos (MLEs) até o cenário contemporâneo de modelos de linguagem de grande escala (MLEs). Notavelmente, a rápida evolução dos MLEs alcançou a capacidade de processar, compreender e gerar texto em nível humano. No entanto, apesar das vantagens significativas que os MLEs oferecem na melhoria tanto da vida profissional quanto pessoal, a compreensão limitada entre os profissionais de saúde sobre a origem e os princípios desses modelos atrapalha seu pleno potencial. Notavelmente, a maioria das revisões sobre MLEs foca em aspectos específicos e utiliza uma linguagem especializada, criando um desafio para os profissionais que não possuem o conhecimento de base relevante. À luz disso, esta pesquisa visa apresentar uma visão geral compreensível dos MLEs para auxiliar um público mais amplo. Ela busca facilitar um entendimento abrangente explorando o contexto histórico dos modelos de linguagem e traçando sua evolução ao longo do tempo. A pesquisa também investiga os fatores que influenciam o desenvolvimento dos MLEs, enfatizando contribuições-chave. Além disso, concentra-se em elucidar os princípios subjacentes dos MLEs, equipando o público com conhecimentos teóricos essenciais. A pesquisa também destaca as limitações do trabalho existente e aponta direções futuras promissoras.