Avaliação da Capacidade Text-to-SQL de Grandes Modelos de Linguagem: Uma Avaliação Abrangente

Grandes Modelos de Linguagem (LLMs) emergiram como uma ferramenta poderosa no avanço da tarefa de Text-to-SQL, superando significativamente os métodos tradicionais. No entanto, como um campo de pesquisa nascente, ainda não há consenso sobre os melhores modelos de prompt e estruturas de design. Além disso, os benchmarks existentes exploram inadequadamente o desempenho dos LLMs nos vários subtarefas do processo Text-to-SQL, o que dificulta a avaliação das capacidades cognitivas dos LLMs e a otimização de soluções baseadas em LLM. Para abordar as questões mencionadas, primeiramente construímos um novo conjunto de dados projetado para mitigar o risco de overfitting nos LLMs. Em seguida, formulamos cinco tarefas de avaliação para avaliar de maneira abrangente o desempenho de métodos diversos em vários LLMs ao longo do processo Text-to-SQL. Nosso estudo destaca as disparidades de desempenho entre os LLMs e propõe soluções de aprendizado contextual otimizadas para cada tarefa. Esses achados oferecem insights valiosos para aprimorar o desenvolvimento de sistemas Text-to-SQL baseados em LLM.