Modelos de Linguagem de Grande Escala como Anotadores de Dados Financeiros: Um Estudo sobre Eficácia e Eficiência

Coletar conjuntos de dados rotulados em finanças é desafiador devido à escassez de especialistas na área e ao maior custo de empregá-los. Embora Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado desempenho notável em tarefas de anotação de dados em conjuntos de dados de domínio geral, sua eficácia em conjuntos de dados específicos do domínio ainda é pouco explorada. Para abordar essa lacuna, investigamos o potencial dos LLMs como anotadores de dados eficientes para extrair relações em documentos financeiros. Comparamos as anotações produzidas por três LLMs (GPT-4, PaLM 2 e MPT Instruct) em relação a anotadores especialistas e trabalhadores da multidão. Demonstramos que os LLMs mais avançados atualmente podem ser alternativas suficientes a trabalhadores da multidão não especialistas. Analisamos modelos usando vários prompts e configurações de parâmetros e encontramos que personalizar os prompts para cada grupo de relação, fornecendo exemplos específicos pertencentes a esses grupos, é fundamental. Além disso, introduzimos um índice de confiabilidade (LLM-RelIndex) usado para identificar saídas que podem exigir atenção de especialistas. Finalmente, realizamos uma extensa análise de tempo, custo e erro e fornecemos recomendações para a coleta e uso de anotações automatizadas em contextos específicos do domínio.