FinBERT: Un modelo de lenguaje preentrenado para comunicaciones financieras

Los modelos de lenguaje preentrenados contextualizados, como BERT (Devlin et al., 2019), han logrado avances significativos en diversas tareas de PNL al entrenar en una gran cantidad de recursos de texto no etiquetados. El sector financiero también acumula una gran cantidad de texto de comunicación financiera. Sin embargo, no existen modelos de lenguaje preentrenados específicos del ámbito financiero disponibles. En este trabajo, abordamos la necesidad preentrenando un modelo BERT específico del dominio financiero, FinBERT, utilizando una gran escala de corpus de comunicación financiera. Los experimentos en tres tareas de clasificación de sentimiento financiero confirman la ventaja de FinBERT sobre el modelo BERT de dominio genérico. El código y los modelos preentrenados están disponibles en https://github.com/yya518/FinBERT. Esperamos que esto sea útil para los profesionales e investigadores que trabajan en tareas de PNL financiera.