Vor der Generation, ausrichten! Eine neuartige und effektive Strategie zur Minderung von Halluzinationen bei der Text-zu-SQL-Generierung

Große Sprachmodelle (LLMs), die von kontextuellem Lernen (ICL) angetrieben werden, haben die Leistung von Text-zu-SQL erheblich verbessert. Frühere Methoden verwenden im Allgemeinen einen zweistufigen Denkrahmen, nämlich 1) Schema-Verknüpfung und 2) logische Synthese, was den Rahmen nicht nur effektiv, sondern auch interpretierbar macht. Trotz dieser Fortschritte führt die inhärente nicht optimale Natur der Verallgemeinerung von LLMs häufig zu Halluzinationen, die das volle Potenzial der LLMs einschränken. In dieser Arbeit identifizieren und kategorisieren wir zunächst die häufigsten Arten von Halluzinationen in jeder Phase der Text-zu-SQL-Generierung. Dann stellen wir eine neuartige Strategie vor, die Aufgaben-Ausrichtung (TA), die darauf abzielt, Halluzinationen in jeder Phase zu mildern. TA ermutigt LLMs, die Vorteile von Erfahrungen ähnlicher Aufgaben zu nutzen, anstatt die Aufgaben von Grund auf neu zu beginnen. Dies kann LLMs helfen, die Verallgemeinerungsbelastung zu reduzieren und dadurch Halluzinationen effektiv zu mildern. Darüber hinaus schlagen wir TA-SQL vor, einen Text-zu-SQL-Rahmen, der auf dieser Strategie basiert. Die experimentellen Ergebnisse und die umfassende Analyse zeigen die Effektivität und Robustheit unseres Rahmens. Insbesondere verbessert es die Leistung der GPT-4-Baseline relativ um 21,23% auf BIRD dev und führt zu signifikanten Verbesserungen über sechs Modelle und vier mainstram, komplexe Text-zu-SQL-Benchmarks.