Combinaison de petits modèles de langage et de grands modèles de langage pour NL2SQL sans échantillons

Le NL2SQL sans échantillons vise à généraliser les modèles NL2SQL pré-entraînés à de nouveaux environnements (par exemple, de nouvelles bases de données et de nouveaux phénomènes linguistiques) sans aucun échantillon NL2SQL annoté de ces environnements. Les approches existantes utilisent soit des petits modèles de langage (SLMs) comme BART et T5, soit sollicitent de grands modèles de langage (LLMs). Cependant, les SLMs peuvent rencontrer des difficultés avec le raisonnement complexe en langage naturel, et les LLMs peuvent ne pas aligner précisément les schémas pour identifier les bonnes colonnes ou tables. Dans cet article, nous proposons un cadre ZeroNL2SQL, qui divise le NL2SQL en sous-tâches plus petites et utilise à la fois des SLMs et des LLMs. ZeroNL2SQL commence par ajuster finement les SLMs pour une meilleure généralisabilité dans l'identification de la structure SQL et l'alignement des schémas, produisant un croquis SQL. Il utilise ensuite la capacité de raisonnement linguistique des LLMs pour compléter les informations manquantes dans le croquis SQL. Pour soutenir ZeroNL2SQL, nous proposons de nouvelles méthodes de sérialisation de base de données et d'alignement conscient des questions pour une génération efficace de croquis utilisant des SLMs. De plus, nous concevons une stratégie d'appariement multi-niveaux pour recommander les valeurs les plus pertinentes aux LLMs et sélectionner la requête SQL optimale via une stratégie basée sur l'exécution. Des expériences complètes montrent que ZeroNL2SQL atteint les meilleures performances NL2SQL sans échantillons sur des benchmarks, surpassant les méthodes basées sur SLM à l'état de l'art de 5,5 % à 16,4 % et dépassant les méthodes basées sur LLM de 10 % à 20 % en précision d'exécution.