DB-GPT-Hub: Hacia la Evaluación Abierta del Texto a SQL Potenciada por Modelos de Lenguaje Grandes

Los modelos de lenguaje grandes (LLMs) se convierten en el paradigma dominante para la tarea desafiante de texto a SQL. Los métodos de texto a SQL potenciados por LLM se clasifican típicamente en enfoques basados en indicaciones y métodos de ajuste. En comparación con los métodos basados en indicaciones, la evaluación de LLMs ajustados para texto a SQL es importante pero poco explorada, parcialmente atribuida al alto costo computacional. En este artículo, presentamos DB-GPT-Hub, un conjunto de evaluación abierto para texto a SQL potenciado por LLM, que se centra principalmente en el ajuste de LLM en grandes escalas. El banco de pruebas propuesto consiste en: 1. una evaluación estandarizada y completa de tareas de texto a SQL mediante el ajuste de LLM abiertos de tamaño mediano a grande; 2. una base de código modularizada y fácil de ampliar con LLM convencionales y escenarios experimentales admitidos, que prioriza métodos de ajuste pero que se puede ampliar fácilmente a un entorno basado en indicaciones. Nuestro trabajo investiga las ganancias potenciales y los límites de rendimiento de los enfoques de ajuste, en comparación con los enfoques basados en indicaciones, y explora soluciones óptimas adaptadas a escenarios específicos. Esperamos que DB-GPT-Hub, junto con estos hallazgos, permita una investigación adicional y aplicaciones amplias que serían difíciles de lograr debido a la ausencia de un banco de pruebas abierto dedicado. El código del proyecto ha sido publicado en https://github.com/eosphoros-ai/DB-GPT-Hub.