Cuidado con las palabras: Evaluando la diversidad léxica de los LLMs conversacionales utilizando ChatGPT como estudio de caso

El rendimiento de los Modelos de Lenguaje Grande (LLMs) conversacionales en general, y de ChatGPT en particular, se está evaluando actualmente en muchas tareas diferentes, desde el razonamiento lógico o matemáticas hasta la respuesta a preguntas sobre una miríada de temas. En cambio, se está prestando mucho menos atención al estudio de las características lingüísticas de los textos generados por estos LLMs. Esto es sorprendente ya que los LLMs son modelos para el lenguaje, y entender cómo utilizan el lenguaje es importante. De hecho, los LLMs conversacionales están en camino de tener un impacto significativo en la evolución de los idiomas, ya que eventualmente pueden dominar la creación de nuevos textos. Esto significa que, por ejemplo, si los LLMs conversacionales no utilizan una palabra, puede volverse cada vez menos frecuente y eventualmente dejar de usarse por completo. Por lo tanto, evaluar las características lingüísticas del texto que producen y cómo dependen de los parámetros del modelo es el primer paso hacia la comprensión del potencial impacto de los LLMs conversacionales en la evolución de los idiomas. En este artículo, consideramos la evaluación de la diversidad léxica del texto generado por LLMs en inglés y cómo depende de los parámetros del modelo. Se presenta una metodología y se utiliza para llevar a cabo una evaluación exhaustiva de la diversidad léxica utilizando ChatGPT como estudio de caso. Los resultados muestran cómo la diversidad léxica depende de la versión de ChatGPT y algunos de sus parámetros, como la penalización por presencia o el rol asignado al modelo. El conjunto de datos y las herramientas utilizadas en nuestro análisis se publican bajo licencias abiertas con el objetivo de atraer la atención muy necesaria hacia la evaluación de las características lingüísticas del texto generado por LLM.