Análisis de Sentimientos en la Era de los Modelos de Lenguaje Grandes: Un Chequeo de Realidad

El análisis de sentimientos (AS) ha sido un área de investigación de larga data en el procesamiento del lenguaje natural. Puede ofrecer valiosas perspectivas sobre los sentimientos y opiniones humanas y, por lo tanto, ha generado un considerable interés tanto en la academia como en la industria. Con la llegada de modelos de lenguaje grandes (MLGs) como ChatGPT, existe un gran potencial para su empleo en problemas de AS. Sin embargo, el grado en que los MLGs existentes pueden ser aprovechados para diferentes tareas de análisis de sentimientos sigue siendo poco claro. Este artículo tiene como objetivo proporcionar una investigación exhaustiva sobre las capacidades de los MLGs para realizar varias tareas de análisis de sentimientos, desde la clasificación de sentimientos convencional hasta el análisis de sentimientos basado en aspectos y el análisis multifacético de textos subjetivos. Evaluamos el rendimiento en 13 tareas en 26 conjuntos de datos y comparamos los resultados con modelos de lenguaje pequeños (MLPs) entrenados en conjuntos de datos específicos de dominio. Nuestro estudio revela que, aunque los MLGs demuestran un rendimiento satisfactorio en tareas más simples, se quedan atrás en tareas más complejas que requieren una comprensión más profunda o información de sentimiento estructurada. Sin embargo, los MLGs superan significativamente a los MLPs en configuraciones de aprendizaje de pocos ejemplos, lo que sugiere su potencial cuando los recursos de anotación son limitados. También destacamos las limitaciones de las prácticas actuales de evaluación en la valoración de las capacidades de AS de los MLGs y proponemos un nuevo referente, SentiEval, para una evaluación más completa y realista. Los datos y el código utilizados durante nuestras investigaciones están disponibles en https://github.com/DAMO-NLP-SG/LLM-Sentiment.