Ajuste Fino de Modelos de Linguagem de Grande Escala Específicos de Domínio usando um Assistente de Modelo para Resumir Textos Financeiros

O mercado financeiro e a opinião pública estão correlacionados. Isso significa que mudanças no mercado financeiro podem resultar em mudanças na opinião pública e mudanças na opinião pública podem resultar em mudanças no mercado financeiro. Portanto, é essencial para entender e interagir com o mercado financeiro coletar conteúdo de texto de fontes online e processá-lo. Como resultado do rápido crescimento das redes sociais e outras fontes online, vimos um aumento exponencial de dados, particularmente dados textuais, nos últimos anos. Pode ser difícil para uma pessoa ler, quanto mais processar, os enormes volumes de dados gerados a cada dia. Isso indica que precisamos de métodos automatizados para processar dados textuais e extrair informações úteis. A sumarização automática de texto é um método de encurtar enormes quantidades de texto sem perder informações essenciais. Transformers, que podem gerenciar e analisar dados textuais de forma eficiente, são modelos de sumarização de texto de última geração. No entanto, desenvolver um modelo automatizado de sumarização de texto especializado em um domínio (por exemplo, finanças) pode ser desafiador, pois nos falta conjuntos de dados de sumarização específicos de domínio. Neste trabalho, propomos um fluxo de trabalho para automatizar completamente o ajuste fino de um modelo de sumarização de texto em um domínio específico, a saber, o domínio de criptomoedas, sem a participação de anotadores humanos. Para isso, introduzimos um novo método para autoaperfeiçoamento de modelos de sumarização de texto que se baseia em um assistente de modelo que codifica conhecimento de domínio, permitindo o ajuste fino de modelos de sumarização de texto em domínios específicos nos quais carecemos de conjuntos de dados de sumarização específicos de domínio. O método proposto é avaliado em um problema de sumarização de texto relacionado a criptomoedas e em três conhecidos Modelos de Linguagem de Grande Escala (LLMs) utilizados para sumarização de texto.