El uso de interfaces de lenguaje natural (NLIs) para crear gráficos se está volviendo cada vez más popular debido a la intuitividad de las interacciones en lenguaje natural. Un desafío clave en este enfoque es capturar con precisión las intenciones del usuario y transformarlas en especificaciones de gráficos adecuadas. Esto obstaculiza el uso generalizado de NLI en la generación de gráficos, ya que las entradas en lenguaje natural de los usuarios son generalmente abstractas (es decir, ambiguas o poco especificadas), sin una clara especificación de codificaciones visuales. Recientemente, los modelos de lenguaje grande (LLMs) preentrenados han mostrado un rendimiento superior en la comprensión y generación de lenguaje natural, demostrando un gran potencial para tareas posteriores. Inspirados en esta tendencia principal, proponemos ChartGPT, generando gráficos a partir de entradas de lenguaje natural abstractas. Sin embargo, los LLMs están luchando por abordar problemas de lógica complejos. Para permitir que el modelo especifique con precisión los parámetros complejos y realice operaciones en la generación de gráficos, descomponemos el proceso de generación en un pipeline de razonamiento paso a paso, de modo que el modelo solo necesite razonar sobre una sub-tarea única y específica en cada ejecución. Además, los LLMs están preentrenados en datasets generales, que podrían estar sesgados para la tarea de generación de gráficos. Para proporcionar un conocimiento de visualización adecuado, creamos un conjunto de datos que consiste en enunciados abstractos y gráficos y mejoramos el rendimiento del modelo a través de un ajuste fino. Además, diseñamos una interfaz interactiva para ChartGPT que permite a los usuarios verificar y modificar las salidas intermedias de cada paso. La efectividad del sistema propuesto se evalúa a través de evaluaciones cuantitativas y un estudio de usuarios.
Tian et al. (Jue,) estudiaron esta pregunta.