BEAVER: Un Benchmark Empresarial para Texto a SQL

Los benchmarks existentes de texto a SQL se han construido en gran medida utilizando tablas de acceso público de la web con pruebas generadas por humanos que contienen pares de preguntas y declaraciones SQL. Por lo general, muestran muy buenos resultados y llevan a las personas a pensar que los LLM son efectivos en tareas de texto a SQL. En este documento, aplicamos LLMs estándar a un benchmark que contiene datos de almacén de datos empresariales. En este entorno, los LLMs tienen un rendimiento deficiente, incluso cuando se utilizan técnicas estándar de ingeniería de prompt y RAG. Como mostraremos, las razones del bajo rendimiento se deben en gran medida a tres características: (1) los LLM públicos no pueden entrenar en almacenes de datos empresariales porque están en gran medida en la "web oscura", (2) los esquemas de las tablas empresariales son más complejos que los esquemas en datos públicos, lo que hace que la tarea de generación de SQL sea intrínsecamente más difícil, y (3) las preguntas orientadas a los negocios suelen ser más complejas, requiriendo uniones sobre múltiples tablas y agregaciones. Como resultado, proponemos un nuevo conjunto de datos BEAVER, obtenido de almacenes de datos empresariales reales junto con consultas en lenguaje natural y sus declaraciones SQL correctas que recopilamos del historial real de usuarios. Evaluamos este conjunto de datos utilizando LLMs recientes y demostramos su bajo rendimiento en esta tarea. Esperamos que este conjunto de datos facilite a futuros investigadores la construcción de sistemas de texto a SQL más sofisticados que puedan desempeñarse mejor en esta importante clase de datos.