Sintetizando Benchmarks de Lenguaje Natural a Visualización (NL2VIS) a partir de Benchmarks de NL2SQL

El lenguaje natural (NL) es un paradigma de interacción prometedor para la visualización de datos (VIS). Sin embargo, no existen benchmarks de NL a VIS (NL2VIS) disponibles. Nuestro objetivo es proporcionar el primer benchmark de NL2VIS para habilitar y impulsar el campo de NL2VIS, especialmente con tecnologías de aprendizaje profundo. En este documento, proponemos un sintetizador de NL2VIS (NL2SQL-a-NL2VIS) que sintetiza benchmarks de NL2VIS aprovechando benchmarks de NL2SQL. La intuición se basa en la conexión semántica entre las consultas SQL y las consultas VIS: las consultas SQL especifican qué datos se necesitan y las consultas VIS además necesitan especificar cómo visualizar. Sin embargo, a diferencia de SQL, que tiene una sintaxis bien definida, los lenguajes VIS (p. ej., Vega-Lite, VizQL, ggplot2) son sintácticamente muy diferentes. Para proporcionar benchmarks de NL2VIS que puedan soportar muchos lenguajes VIS, utilizamos una representación intermedia unificada, árboles de sintaxis abstracta (ASTs), para consultas SQL y VIS. Podemos sintetizar múltiples árboles VIS mediante la adición/eliminación de nodos a/de un árbol SQL. Cada árbol VIS puede luego ser convertido a (cualquier) lenguaje VIS. El NL para VIS se modificará en función del NL para SQL para reflejar las ediciones correspondientes del árbol. Producimos el primer benchmark de NL2VIS (nvBench), aplicando NL2SQL-a-NL2VIS en un popular benchmark de NL2SQL Spider, que cubre 105 dominios, soporta siete tipos comunes de visualizaciones y contiene 25,750 pares (NL, VIS). Nuestro método reduce las horas-hombre al 5.7% de desarrollar un benchmark de NL2VIS desde cero (o construir un benchmark de NL2VIS desde cero toma 17.5 veces las horas-hombre de nuestro método). Una amplia validación humana, a través de 23 expertos y 312 trabajadores a través de crowdsourcing, demuestra la alta calidad de nvBench. Para verificar que nvBench puede habilitar enfoques basados en aprendizaje, desarrollamos un modelo SEQ2VIS. Nuestros resultados experimentales muestran que SEQ2VIS funciona bien y supera significativamente los métodos de vanguardia de la tarea de NL2VIS.