Eine empirische Studie zur Validierung synthetischer Daten für die Formelerstellung

Große Sprachmodelle (LLMs) können genutzt werden, um beim Schreiben von Formeln in Tabellenkalkulationen zu helfen, aber die Ressourcen zu diesen Formeln sind rar, was sowohl die Basisleistung vortrainierter Modelle beeinträchtigt als auch die Fähigkeit, diese anzupassen, einschränkt. Angesichts eines Korpus von Formeln können wir ein(e) (anderes) Modell verwenden, um synthetische natürliche Sprachäußerungen zur Feinabstimmung zu generieren. Es ist jedoch wichtig zu validieren, ob die vom LLM generierte NL tatsächlich genau ist, um für die Feinabstimmung vorteilhaft zu sein. In diesem Papier präsentieren wir empirische Ergebnisse über den Einfluss der Validierung dieser synthetischen Trainingsbeispiele mit Surrogat-Zielen, die die Genauigkeit der synthetischen Annotationen bewerten. Wir zeigen, dass die Validierung die Leistung im Vergleich zu Rohdaten über vier Modelle (2 offene und 2 geschlossene Gewichtungen) verbessert. Interessanterweise zeigen wir, dass die Validierung zwar dazu neigt, herausforderndere Beispiele auszuschließen, aber die Komplexität der Probleme erhöht, die Modelle nach der Feinabstimmung mit validierten Daten lösen können.